[论文解读] An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels

Yong Wen, Marcus Kalander+2 more|arXiv (Cornell University)|Jul 6, 2021

Machine Learning and Data Classification参考文献 27被引用 4

一句话总结

本文提出 E-NKCVS，一种基于集成的噪声鲁棒 K 折交叉验证方法，通过利用模型共识和基于熵的标签重加权，从噪声数据集中筛选出干净样本。该方法在图像和文本分类任务中均优于当前最先进方法，在 Clothing-1M 上达到 75.0% 的准确率，在 WebVision 上达到 77.6%，在高噪声比例下表现一致且优异，对干净数据的性能下降可忽略不计。

ABSTRACT

We consider the problem of training robust and accurate deep neural networks (DNNs) when subject to various proportions of noisy labels. Large-scale datasets tend to contain mislabeled samples that can be memorized by DNNs, impeding the performance. With appropriate handling, this degradation can be alleviated. There are two problems to consider: how to distinguish clean samples and how to deal with noisy samples. In this paper, we present Ensemble Noise-robust K-fold Cross-Validation Selection (E-NKCVS) to effectively select clean samples from noisy data, solving the first problem. For the second problem, we create a new pseudo label for any sample determined to have an uncertain or likely corrupt label. E-NKCVS obtains multiple predicted labels for each sample and the entropy of these labels is used to tune the weight given to the pseudo label and the given label. Theoretical analysis and extensive verification of the algorithms in the noisy label setting are provided. We evaluate our approach on various image and text classification tasks where the labels have been manually corrupted with different noise ratios. Additionally, two large real-world noisy datasets are also used, Clothing-1M and WebVision. E-NKCVS is empirically shown to be highly tolerant to considerable proportions of label noise and has a consistent improvement over state-of-the-art methods. Especially on more difficult datasets with higher noise ratios, we can achieve a significant improvement over the second-best model. Moreover, our proposed approach can easily be integrated into existing DNN methods to improve their robustness against label noise.

研究动机与目标

• 为解决在存在高比例噪声标签的数据集上训练深度神经网络时模型泛化能力下降的挑战。
• 开发一种方法，无需依赖辅助干净数据，即可有效识别并筛选出噪声数据中的干净样本。
• 设计一种标签重加权机制，根据预测不确定性动态调整真实标签与伪标签之间的权重。
• 确保该方法对不同噪声水平具有鲁棒性，并可轻松集成到现有深度神经网络框架中。

提出的方法

• E-NKCVS 使用 K 折交叉验证，在不同数据划分上训练多个模型，通过跨折聚合预测结果来评估标签一致性。
• 在各折中预测标签一致的样本被选为可能的干净样本；预测不一致的样本则被标记为潜在噪声样本。
• 对于噪声样本或预测不确定的样本，通过结合给定（噪声）标签与基于集成预测生成的伪标签，形成混合标签。
• 伪标签的权重由集成预测的熵决定——熵越低，表示对伪标签的置信度越高。
• 训练过程中应用 Mixup 数据增强，以提升模型的鲁棒性与泛化能力。
• 该方法设计为即插即用，兼容现有深度神经网络架构与损失函数。

实验结果

研究问题

• RQ1 基于集成的 K 折交叉验证方法能否有效识别高标签噪声数据集中的干净样本？
• RQ2 当真实标签不可靠时，基于熵的标签重加权如何提升模型性能？
• RQ3 E-NKCVS 在无噪声数据上是否保持高性能，同时在高噪声比例下显著提升准确率？
• RQ4 在真实世界噪声数据集（如 Clothing-1M 和 WebVision）上，E-NKCVS 与最先进方法相比表现如何？

主要发现

• 在 Clothing-1M 上，E-NKCVS 达到 75.0% 的测试准确率，超越先前最先进方法，并优于标准交叉熵损失（69.0%）。
• 在（小规模）WebVision 上，E-NKCVS 达到 77.6% 的准确率，略优于先前最先进方法，并优于强基线方法 DivideMix（77.3%）。
• 在 CIFAR-100 上使用 40% 的非对称标签噪声时，E-NKCVS 显著优于第二好的模型，展现出在挑战性数据集上的强大鲁棒性。
• 当无标签噪声时（ε=0），E-NKCVS 的测试准确率与标准交叉熵损失几乎完全一致，表明其对干净数据的负面影响可忽略。
• 该方法在多种数据集和噪声类型（包括合成对称与非对称噪声，以及真实世界标签噪声）下均表现出一致的性能提升。
• 广泛的超参数分析证实了该方法在不同网络架构与训练设置下的鲁棒性与通用性。