[论文解读] Learning with Instance-Dependent Label Noise: A Sample Sieve Approach

Hao Cheng, Zhaowei Zhu+4 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 57被引用 27

一句话总结

该论文提出 CORES 2，一种新颖的样本筛法，用于处理实例相关标签噪声下的学习问题，且无需估计噪声率。通过利用置信度正则化识别干净样本，并应用闭式阈值进行样本筛分，CORES 2 在 CIFAR-10、CIFAR-100 和 Clothing1M 上的合成与真实世界噪声标签设置下均实现了最先进性能，并对过滤掉受损样本提供了理论保证。

ABSTRACT

Human-annotated labels are often prone to noise, and the presence of such noise will degrade the performance of the resulting deep neural network (DNN) models. Much of the literature (with several recent exceptions) of learning with noisy labels focuses on the case when the label noise is independent of features. Practically, annotations errors tend to be instance-dependent and often depend on the difficulty levels of recognizing a certain task. Applying existing results from instance-independent settings would require a significant amount of estimation of noise rates. Therefore, providing theoretically rigorous solutions for learning with instance-dependent label noise remains a challenge. In this paper, we propose CORES$^{2}$ (COnfidence REgularized Sample Sieve), which progressively sieves out corrupted examples. The implementation of CORES$^{2}$ does not require specifying noise rates and yet we are able to provide theoretical guarantees of CORES$^{2}$ in filtering out the corrupted examples. This high-quality sample sieve allows us to treat clean examples and the corrupted ones separately in training a DNN solution, and such a separation is shown to be advantageous in the instance-dependent noise setting. We demonstrate the performance of CORES$^{2}$ on CIFAR10 and CIFAR100 datasets with synthetic instance-dependent label noise and Clothing1M with real-world human noise. As of independent interests, our sample sieve provides a generic machinery for anatomizing noisy datasets and provides a flexible interface for various robust training techniques to further improve the performance. Code is available at https://github.com/UCSC-REAL/cores.

研究动机与目标

• 为解决深度学习中实例相关标签噪声的挑战，其中标注错误随样本难易程度变化，且与特征不独立。
• 开发一种方法，可在无需事先估计噪声率或转移矩阵的情况下过滤掉受损样本。
• 提供理论保证，即在噪声数据上最小化置信度正则化损失，可近似等价于在真实潜在分布上最小化干净损失。
• 通过将干净样本与受损样本解耦，实现改进的 DNN 训练，对干净数据应用标准交叉熵损失，对噪声数据应用一致性损失。
• 提供一种通用且灵活的接口，用于在匿名化、高质量的干净数据上集成鲁棒训练技术。

提出的方法

• CORES 2 在损失函数中引入置信度正则化（CR）项，以提升分类器的置信度，从而有助于识别干净样本。
• 该方法利用模型预测结果推导出的闭式阈值，筛除低置信度样本，形成高质量的干净样本集。
• 样本筛法基于正则化损失动态地将训练数据划分为干净和受损子集，无需噪声率估计。
• 干净样本使用标准交叉熵损失进行训练，而受损样本则使用无监督一致性损失以提升泛化能力。
• 理论上证明，置信度正则化损失等价于在弱假设下最小化真实分布上的干净交叉熵损失。
• 该框架设计为模块化，允许在筛分后与多种鲁棒训练技术集成。

实验结果

研究问题

• RQ1 能否构建一种样本筛法，在不估计噪声率的情况下，可靠地分离实例相关标签噪声下的干净与受损样本？
• RQ2 损失函数中的置信度正则化是否能提升干净样本的识别能力，并增强训练的鲁棒性？
• RQ3 基于理论支撑的阈值化样本筛法是否能在合成与真实世界噪声标签设置下，优于现有方法？
• RQ4 通过使用不同损失函数对干净与受损样本进行解耦训练，对模型泛化能力和准确率有何影响？
• RQ5 CORES 2 在具有不同实例相关噪声水平的多分类任务中，其泛化能力如何？

主要发现

• 在对称噪声率 0.2 的 CIFAR-10 上，CORES 2 达到 95.9% 的测试准确率，在噪声率 0.5 时达到 94.5%，优于最先进方法如 DivideMix。
• 在 Tiny-ImageNet 上，CORES 2 在噪声率 0.2 时达到 73.47% 的准确率，超过 MAE 和 GCE 等方法。
• 即使不进行一致性训练，CORES 2 在对称噪声（0.2）下仍达到 90.70% 的准确率，在非对称噪声（0.1）下达到 92.41%，证明仅靠置信度正则化即可实现强鲁棒性。
• 消融实验表明，动态样本筛法与置信度正则化均对性能有显著贡献，完整方法在对称噪声（0.2）下达到 95.73% 的准确率。
• 在 Clothing1M 上，CORES 2 在真实世界人类标注噪声下达到 96.05% 的准确率，证明其在复杂真实数据集上的强大泛化能力。
• 理论分析表明，在弱假设下，最小化噪声数据上的置信度正则化损失，等价于最小化不可观测的真实分布上的干净损失。