[论文解读] A Weakly Supervised Learning Approach based on Spectral Graph-Theoretic Grouping

Tameem Adel, Alexander Wong+1 more|arXiv (Cornell University)|Aug 3, 2015

Face and Expression Recognition参考文献 22被引用 3

一句话总结

本文提出了一种弱监督学习方法，利用谱图理论分组技术，通过利用已标注与未标注样本之间的相似性关系，推断未标注数据的弱标签。通过构建新颖的相似性图模型，该方法在肌电图（EMG）和基准数据集上的分类准确率优于完全监督基线模型，其中逻辑回归表现出最一致的性能提升。

ABSTRACT

In this study, a spectral graph-theoretic grouping strategy for weakly supervised classification is introduced, where a limited number of labelled samples and a larger set of unlabelled samples are used to construct a larger annotated training set composed of strongly labelled and weakly labelled samples. The inherent relationship between the set of strongly labelled samples and the set of unlabelled samples is established via spectral grouping, with the unlabelled samples subsequently weakly annotated based on the strongly labelled samples within the associated spectral groups. A number of similarity graph models for spectral grouping, including two new similarity graph models introduced in this study, are explored to investigate their performance in the context of weakly supervised classification in handling different types of data. Experimental results using benchmark datasets as well as real EMG datasets demonstrate that the proposed approach to weakly supervised classification can provide noticeable improvements in classification performance, and that the proposed similarity graph models can lead to ultimate learning results that are either better than or on a par with existing similarity graph models in the context of spectral grouping for weakly supervised classification.

研究动机与目标

• 解决医学信号分类中标签数据有限的挑战，特别是针对仅提供肌肉层面标签的肌电图（EMG）信号。
• 通过基于图的分组策略，为未标注实例生成可靠的弱标签，以提升分类性能。
• 开发能够适应不同数据密度的鲁棒相似性图模型，提升弱监督设置下谱聚类的性能。
• 证明结合弱标注数据与强标注数据可获得优于仅使用强标注数据的分类器性能，相较于朴素标签传播的完全监督学习方法。
• 在真实肌电图数据集和基准数据集上验证该方法，以展示其在不同类型数据上的泛化能力。

提出的方法

• 构建一个相似性图，其中节点代表数据实例，边编码强标注实例与未标注实例之间的成对相似性。
• 应用谱聚类，基于未标注实例与强标注实例的相似性，利用图的特征向量识别紧密的聚类。
• 提出两种新颖的相似性图模型，旨在处理异质的数据密度，提升在真实世界数据分布下的鲁棒性。
• 根据同一谱聚类中强标注实例的多数标签，为未标注实例分配弱标签。
• 使用留一肌肉交叉验证策略，在强标注与弱标注实例的组合数据集上训练分类器（逻辑回归、k-NN、QDA）。
• 通过交叉验证优化超参数，如k-NN中的K值和聚类数量，以确保模型泛化能力。

实验结果

研究问题

• RQ1 谱图理论分组能否在弱监督学习中有效推断未标注实例的有意义弱标签？
• RQ2 所提出的相似性图模型在聚类质量与下游分类准确率方面是否优于或至少不逊于现有模型？
• RQ3 将弱标注实例与强标注数据结合，是否能获得优于仅使用强标注数据的分类性能？
• RQ4 所提出的图模型在不同数据密度与分布变化下是否具有鲁棒性？
• RQ5 性能提升是否在不同分类算法（如逻辑回归、k-NN、QDA）中保持一致？

主要发现

• 该弱监督分类器在上肢和下肢肌电图数据集上均显著优于完全监督基线模型。
• 在测试的三种分类器中，逻辑回归取得了最高的分类准确率，表明其能从弱标注数据中稳定且高效地学习。
• 所提出的相似性图模型在弱监督学习的谱聚类中，分组结果要么优于，要么至少与现有模型持平。
• 该方法通过引入可靠弱标签扩充更大、更具信息量的训练集，从而提升了分类性能。
• 留一肌肉交叉验证验证了性能的持续提升，证明了该方法的鲁棒性与泛化能力。
• 新图模型在适应不同数据密度方面的灵活性，有助于提升聚类与分类结果。