[论文解读] Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels

Zhaowei Zhu, Yiwen Song+1 more|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification参考文献 50被引用 22

一句话总结

本文提出了一种新颖的方法，通过利用特征可聚类性（即每个样本及其两个最近邻属于同一真实类别），在不依赖锚点的情况下估计标签噪声转移矩阵。通过利用邻居之间高达三阶的标签一致性，该方法在样本复杂度上显著优于基于锚点的方法，实现了唯一且准确的矩阵估计，且在CIFAR-10/100和Clothing1M数据集上，针对合成噪声和人工水平噪声均得到验证。

ABSTRACT

The label noise transition matrix, characterizing the probabilities of a training instance being wrongly annotated, is crucial to designing popular solutions to learning with noisy labels. Existing works heavily rely on finding "anchor points" or their approximates, defined as instances belonging to a particular class almost surely. Nonetheless, finding anchor points remains a non-trivial task, and the estimation accuracy is also often throttled by the number of available anchor points. In this paper, we propose an alternative option to the above task. Our main contribution is the discovery of an efficient estimation procedure based on a clusterability condition. We prove that with clusterable representations of features, using up to third-order consensuses of noisy labels among neighbor representations is sufficient to estimate a unique transition matrix. Compared with methods using anchor points, our approach uses substantially more instances and benefits from a much better sample complexity. We demonstrate the estimation accuracy and advantages of our estimates using both synthetic noisy labels (on CIFAR-10/100) and real human-level noisy labels (on Clothing1M and our self-collected human-annotated CIFAR-10). Our code and human-level noisy CIFAR-10 labels are available at https://github.com/UCSC-REAL/HOC.

研究动机与目标

• 为解决基于锚点的方法在估计标签噪声转移矩阵时存在的样本复杂度低、对可用锚点数量敏感的问题。
• 通过利用深度特征表示的可聚类性，提出一种灵活且可扩展的锚点替代方案。
• 证明在可聚类性假设下，邻居样本之间高达三阶的标签一致性可唯一且准确地估计转移矩阵。
• 提供一个实用的开源工具，实现快速、可泛化的转移矩阵估计，适用于全局与局部噪声设置。
• 发布一个经人工标注且含噪声的CIFAR-10数据集，以支持未来真实世界标签噪声的研究。

提出的方法

• 该方法基于可聚类性条件：每个样本及其在特征空间中的两个最近邻属于同一真实类别。
• 通过分析每个样本与其2-NN邻居之间的一阶、二阶和三阶标签一致性来估计转移矩阵。
• 将标签一致性方程转化为涉及Hadamard积与矩阵积的矩阵方程，从而推导出对转移矩阵的约束。
• 证明在非奇异性和信息性假设下，使用高达三阶一致性即可唯一确定真实转移矩阵。
• 该估计器被实现为轻量级、可插拔的工具，可与标准训练流程（如前向损失校正）无缝集成。
• 该方法支持全局与局部转移矩阵估计，能够适应实例相关噪声。

实验结果

研究问题

• RQ1 是否可以在不依赖锚点的情况下准确估计标签噪声转移矩阵？
• RQ2 特征的可聚类性是否足以实现唯一且样本高效的转移矩阵估计？
• RQ3 邻居之间高达三阶的标签一致性是否能唯一识别真实转移矩阵？
• RQ4 在合成噪声与真实世界噪声标签下，该方法在估计准确率与泛化能力上相较于基于锚点的方法表现如何？
• RQ5 该方法是否可灵活扩展至局部、实例相关的噪声设置？

主要发现

• 所提出的HOC估计器在CIFAR-10的人工标注标签噪声下，全局转移矩阵估计误差为0.097，优于基线方法。
• 在CIFAR-10的人工水平噪声下，局部转移矩阵估计的平均误差为0.110 ± 0.027，表现出强鲁棒性与可扩展性。
• 在CIFAR-10上，当实例相关噪声比例为20%时，超过87%的2-NN组合满足可行性条件（即共享同一真实类别），支持可聚类性假设。
• 即使将数据集规模从50k减少至5k样本，该方法仍保持较高的2-NN组合可行性，表明其稳定性与可扩展性。
• 在CIFAR-100上，当噪声比例为40%时，HOC局部估计器仍优于其他方法，即使转移矩阵维度较高（含10,000个参数）。
• 理论证明表明，在标准假设下，三阶一致性已足够唯一识别真实转移矩阵。