[论文解读] Beyond Class-Conditional Assumption: A Primary Attempt to Combat Instance-Dependent Label Noise

Pengfei Chen, Junjie Ye+3 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification参考文献 50被引用 14

一句话总结

本文通过理论证明挑战了广泛使用的类别条件噪声（CCN）假设，表明现实世界中的标签噪声实际上是实例相关的（IDN），从而推动研究重点的转变。提出SEAL方法，通过在训练迭代过程中对模型预测进行平均来校正噪声标签，在合成数据集和真实世界IDN基准测试中均取得最先进性能，包括在Clothing1M数据集上达到70.63%的测试准确率。

ABSTRACT

Supervised learning under label noise has seen numerous advances recently, while existing theoretical findings and empirical results broadly build up on the class-conditional noise (CCN) assumption that the noise is independent of input features given the true label. In this work, we present a theoretical hypothesis testing and prove that noise in real-world dataset is unlikely to be CCN, which confirms that label noise should depend on the instance and justifies the urgent need to go beyond the CCN assumption.The theoretical results motivate us to study the more general and practical-relevant instance-dependent noise (IDN). To stimulate the development of theory and methodology on IDN, we formalize an algorithm to generate controllable IDN and present both theoretical and empirical evidence to show that IDN is semantically meaningful and challenging. As a primary attempt to combat IDN, we present a tiny algorithm termed self-evolution average label (SEAL), which not only stands out under IDN with various noise fractions, but also improves the generalization on real-world noise benchmark Clothing1M. Our code is released. Notably, our theoretical analysis in Section 2 provides rigorous motivations for studying IDN, which is an important topic that deserves more research attention in future.

研究动机与目标

• 通过理论证明表明，现实世界中的标签噪声不太可能是类别条件的，从而证明研究实例相关噪声（IDN）的必要性。
• 形式化一种生成可控、语义有意义的实例相关标签噪声的方法，以供研究与基准测试使用。
• 开发并评估一种新型防御方法SEAL，专门用于应对深度学习中的IDN。
• 在合成IDN和真实世界噪声数据集（如Clothing1M）上验证SEAL的有效性。

提出的方法

• 在Clothing1M数据集上提出理论假设检验，以拒绝CCN假设，表明标签噪声依赖于输入特征。
• 提出一种可控算法，通过基于输入特征建模噪声概率来生成实例相关标签噪声。
• 设计SEAL方法，通过在每个实例的训练周期中对模型预测进行平均，计算软标签校正。
• 利用平均后的软标签重新训练最终分类器，实现针对实例的标签校正。
• 采用自演化机制，使模型输出在记忆噪声前发生振荡，从而检测真实标签信号。
• 将SEAL与交叉熵或其他损失函数结合使用，并与先进方法（如DMI）集成以进一步提升性能。

实验结果

研究问题

• RQ1 对于像Clothing1M这样的现实世界数据集，类别条件噪声假设是否成立？还是标签噪声实际上具有实例相关性？
• RQ2 能否以可控且语义有意义的方式生成实例相关标签噪声，以用于基准测试？
• RQ3 专门针对IDN设计的防御方法是否在实例相关噪声下优于基于CCN的方法？
• RQ4 SEAL能否在真实世界噪声数据集（如Clothing1M）上提升泛化性能？
• RQ5 将SEAL与其他鲁棒训练方法（如DMI）结合是否能带来进一步的性能提升？

主要发现

• 在Clothing1M上的理论假设检验拒绝了CCN假设，表明标签噪声在统计上依赖于输入特征。
• 在MNIST数据集上，IDN比例为40%时，SEAL达到96.75%的准确率，优于所有基线方法，包括Co-teaching和GCE。
• 在CIFAR-10数据集上，IDN比例为40%时，SEAL达到82.98%的准确率，比次优方法高出超过4个百分点。
• 在真实世界Clothing1M基准上，SEAL达到70.63%的测试准确率，较标准交叉熵方法绝对提升1.56%。
• 当与DMI结合使用时，SEAL在Clothing1M上达到73.40%的准确率，表明与先进训练方法具有协同增益。
• 该方法在多种噪声比例和数据集上均表现出一致的性能提升，证实了其鲁棒性与泛化能力。