[论文解读] Centrality and Consistency: Two-Stage Clean Samples Identification for Learning with Instance-Dependent Noisy Labels

Ganlong Zhao, Guanbin Li+3 more|arXiv (Cornell University)|Jul 29, 2022

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出了一种两阶段方法，用于在实例相关标签噪声（IDN）和类别不平衡条件下识别图像分类中的干净样本。首先，通过基于熵的稀有类别聚合进行类别级特征聚类，识别靠近类别中心的简单干净样本；其次，应用基于一致性的分类头，检测靠近决策边界的困难干净样本。该方法在CIFAR-100和Clothing1M数据集上分别取得了76.08%和75.40%的准确率，达到当前最优性能。

ABSTRACT

Deep models trained with noisy labels are prone to over-fitting and struggle in generalization. Most existing solutions are based on an ideal assumption that the label noise is class-conditional, i.e., instances of the same class share the same noise model, and are independent of features. While in practice, the real-world noise patterns are usually more fine-grained as instance-dependent ones, which poses a big challenge, especially in the presence of inter-class imbalance. In this paper, we propose a two-stage clean samples identification method to address the aforementioned challenge. First, we employ a class-level feature clustering procedure for the early identification of clean samples that are near the class-wise prediction centers. Notably, we address the class imbalance problem by aggregating rare classes according to their prediction entropy. Second, for the remaining clean samples that are close to the ground truth class boundary (usually mixed with the samples with instance-dependent noises), we propose a novel consistency-based classification method that identifies them using the consistency of two classifier heads: the higher the consistency, the larger the probability that a sample is clean. Extensive experiments on several challenging benchmarks demonstrate the superior performance of our method against the state-of-the-art.

研究动机与目标

• 为解决深度学习中更具现实意义但更难处理的实例相关标签噪声（IDN）挑战。
• 克服现有方法假设类别条件噪声的局限性，这些方法在具有特征依赖噪声的真实数据中表现不佳。
• 缓解类别间不平衡对干净样本识别的影响，特别是在噪声分布高度偏斜的数据集中。
• 通过在存在IDN和类别不平衡的情况下准确识别干净样本，提升模型泛化能力。
• 开发一种半监督学习框架，结合聚类与基于一致性的分类，实现稳健训练。

提出的方法

• 在第一阶段，该方法使用样本特征与单位球面上类别预测中心之间的余弦相似度，执行类别级特征聚类。
• 利用高斯混合模型（GMM）根据样本与类别中心的相似度对样本进行二值化，将更接近中心的样本识别为干净样本。
• 为缓解类别不平衡问题，采用预测熵对稀有类别进行聚合，以稳定低频类别的聚类结果。
• 在第二阶段，引入一个具有两个并行分类器的一致性分类头，用于检测靠近决策边界的困难干净样本。
• 使用两种正则化策略：一种作用于特征提取器，以促进输出的一致性；另一种作用于分类器，以鼓励不一致性，从而增强模型鲁棒性。
• 训练完成后，通过第二个GMM根据一致性得分对样本进行分类，一致性得分越低，样本越可能是干净样本。

实验结果

研究问题

• RQ1 两阶段方法是否能在存在实例相关标签噪声和类别不平衡的情况下有效识别干净样本？
• RQ2 基于熵的稀有类别聚合的类别级特征聚类在类别不平衡数据集中如何提升干净样本检测效果？
• RQ3 双分类器头之间预测一致性的程度在多大程度上提升了对靠近决策边界的困难干净样本的识别能力？
• RQ4 在真实世界噪声基准数据集上，该方法在准确率和鲁棒性方面与当前最优方法相比表现如何？
• RQ5 基于一致性的阶段是否能有效平衡所识别干净样本集中各类别的分布？

主要发现

• 在噪声比为0.6的CIFAR-100数据集中，该方法达到76.08%的测试准确率，优于当前最优方法DivideMix（75.20%）和NGC（74.44%）。
• 在高度不平衡的Clothing1M数据集中，该方法达到75.40%的准确率，超过DivideMix（74.26%）和NGC（74.44%）。
• 消融实验表明，两个阶段均显著贡献性能，完整方法相比交叉熵损失基线在CIFAR-100上提升23.72个百分点。
• 基于一致性的分类（第二阶段）将CIFAR-100上噪声样本与干净样本分类的AUC从0.72提升至0.85，表明其具有强大的判别能力。
• 第二阶段后，干净样本集中各类别分布更加均衡，稀有类别比例上升，丰富类别比例下降，尤其在极端情况下表现明显。
• 概率密度函数显示，相似度（第一阶段）和一致性（第二阶段）度量均能有效分离干净样本与噪声样本，且一致预测是干净样本的强指标。