[论文解读] Adaptive Sample Selection for Robust Learning under Label Noise

Deep Patel, P. S. Sastry|arXiv (Cornell University)|Jun 29, 2021

Machine Learning and Data Classification参考文献 44被引用 6

一句话总结

本文提出 BARE（BAtch REweighting），一种用于在标签噪声下实现鲁棒深度学习的自适应样本选择方法。它通过使用小批量损失统计量——具体为损失的类别特定均值与标准差——动态选择样本，无需噪声率估计、干净验证数据或额外超参数。BARE 在 MNIST、CIFAR-10 和 Clothing-1M 上实现了最先进水平的鲁棒性，且计算开销极低。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to memorization or overfitting in the presence of noisily-labelled data. For the problem of robust learning under such noisy data, several algorithms have been proposed. A prominent class of algorithms rely on sample selection strategies wherein, essentially, a fraction of samples with loss values below a certain threshold are selected for training. These algorithms are sensitive to such thresholds, and it is difficult to fix or learn these thresholds. Often, these algorithms also require information such as label noise rates which are typically unavailable in practice. In this paper, we propose an adaptive sample selection strategy that relies only on batch statistics of a given mini-batch to provide robustness against label noise. The algorithm does not have any additional hyperparameters for sample selection, does not need any information on noise rates and does not need access to separate data with clean labels. We empirically demonstrate the effectiveness of our algorithm on benchmark datasets.

研究动机与目标

• 解决大规模数据集中深度神经网络因过拟合于噪声标签而导致的挑战。
• 消除鲁棒学习算法对外部干净数据或噪声率先验知识的依赖。
• 开发一种自适应、高效且无需额外超参数的样本选择策略。
• 在不使用辅助网络或复杂训练方案的前提下，提升对对称噪声和类别条件噪声的鲁棒性。

提出的方法

• BARE 使用类别特定的小批量统计量——损失值的均值与标准差——来计算每个小批量内样本选择的动态阈值。
• 损失值低于阈值（计算方式为均值减去标准差的一定比例）的样本被选中用于训练。
• 阈值在每个小批量和每个类别上重新计算，从而基于实时损失动态实现自适应课程学习。
• 该方法无需辅助网络、独立的干净数据或噪声率估计，因此轻量化且可扩展。
• 样本选择仅基于当前小批量中观测到的损失值，确保能够适应训练过程中模型状态的变化。
• 该算法端到端实现，仅需在标准反向传播训练循环中增加损失过滤，无需对核心训练流程进行修改。

实验结果

研究问题

• RQ1 能否设计一种样本选择策略，使其在无需噪声率先验知识或干净数据的前提下，自适应应对标签噪声？
• RQ2 与静态或学习得到的阈值相比，基于小批量的损失统计量在噪声标签下选择可靠样本的表现如何？
• RQ3 动态的、类别感知的阈值策略在多大程度上能提升噪声训练下的泛化能力与鲁棒性？
• RQ4 在准确率、效率和超参数敏感性方面，BARE 与最先进方法相比表现如何？
• RQ5 该方法在不同小批量大小和高类别数场景下是否具有鲁棒性？

主要发现

• 在 MNIST 数据集上，当对称标签噪声率为 50% 时，BARE 达到 95.31% 的测试准确率，优于 CCE 及其他基线方法。
• 在 CIFAR-10 数据集上，当类别条件噪声率为 40% 时，BARE 达到 70.63% 的准确率，展现出在高噪声条件下的强鲁棒性。
• 在 40% 噪声率下，BARE 每个训练周期选择约 80% 的样本，与预期的干净样本比例高度一致，且无需输入噪声率。
• 该算法运行时间与标准交叉熵训练相近，而 MR 和 MN 等基线方法耗时最多达 8 倍。
• BARE 对小批量大小不敏感，在 MNIST 和 CIFAR-10 上，64、128 和 256 的小批量大小下均保持一致的性能表现。
• 在噪声率误估情况下，BARE 表现无退化，而 CoT、CoT+ 和 CL 等方法对错误的噪声率输入高度敏感。