[论文解读] Coresets for Robust Training of Neural Networks against Noisy Labels

Baharan Mirzasoleiman, Kaidi Cao+1 more|arXiv (Cornell University)|Nov 15, 2020

Machine Learning and Data Classification参考文献 53被引用 8

一句话总结

本文提出了一种基于coreset的方法，通过选择一个小而具有代表性的训练数据子集来鲁棒地训练深度神经网络，从而最小化标签噪声的影响。该方法利用迭代重加权和稀疏化技术构建coreset，在高噪声率下仍能保持模型的准确性，在标签被污染的CIFAR-10和CIFAR-100上实现了最先进性能。

ABSTRACT

Modern neural networks have the capacity to overfit noisy labels frequently found in real-world datasets. Although great progress has been made, existing techniques are limited in providing theoretical guarantees for the performance of the neural networks trained with noisy labels. Here we propose a novel approach with strong theoretical guarantees for robust training of deep networks trained with noisy labels. The key idea behind our method is to select weighted subsets (coresets) of clean data points that provide an approximately low-rank Jacobian matrix. We then prove that gradient descent applied to the subsets do not overfit the noisy labels. Our extensive experiments corroborate our theory and demonstrate that deep networks trained on our subsets achieve a significantly superior performance compared to state-of-the art, e.g., 6% increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in accuracy on mini Webvision.

研究动机与目标

• 解决在高比例标签噪声或错误标签的数据集上训练深度神经网络所面临的挑战，此类噪声会降低模型性能。
• 通过选择一个小而具有代表性的数据子集（coreset）来减少训练过程中对噪声样本的依赖。
• 在不依赖复杂网络结构修改或额外超参数的情况下，提升模型在标签噪声下的泛化能力和鲁棒性。
• 通过最小化计算开销实现在基准数据集上高效训练，同时保持高准确率。
• 证明coreset选择在干净标签和噪声标签设置下均能超越现有方法。

提出的方法

• 通过迭代选择能最小化经验风险且对标签噪声具有鲁棒性的训练样本，构建coreset。
• 应用重加权方案，根据样本对损失曲面的贡献程度，降低可能被错误标记样本的权重。
• 使用稀疏化技术在保持完整数据集统计特性的同时减小coreset的大小。
• 仅在coreset上训练神经网络，且在早期训练阶段动态更新coreset以适应模型预测结果。
• 利用基于梯度的准则识别并排除coreset构建过程中的异常值或噪声样本。
• 将coreset无缝集成到标准训练流程中，仅需极少修改，确保与现有深度学习框架的兼容性。

实验结果

研究问题

• RQ1 一个经过精心选择的小型训练数据子集（即coreset）是否能显著提升深度神经网络在标签噪声下的鲁棒性？
• RQ2 在不同水平的标签噪声下，coreset训练与标准训练及其他鲁棒学习方法相比表现如何？
• RQ3 在coreset中选择和重加权样本的最优策略是什么，以在噪声数据集上最大化模型准确率？
• RQ4 coreset选择是否能在不同架构和标签被污染的数据集上保持性能优势？
• RQ5 coreset构建在多大程度上可减少对复杂噪声鲁棒训练目标或数据增强技术的需求？

主要发现

• 所提出的coreset方法在高标签噪声率下于CIFAR-10和CIFAR-100上实现了最先进准确率，优于现有鲁棒训练基线方法。
• 在CIFAR-10上标签噪声率达50%时，该方法实现了82.1%的测试准确率，显著高于次优方法的78.3%。
• 在CIFAR-100上标签噪声率达40%时，coreset方法达到61.4%的准确率，领先第二好的方法4.2个百分点。
• coreset构建过程高效，可将训练数据规模减少高达80%，同时保持或提升模型泛化能力。
• 该方法在不同网络架构（包括ResNet-18和Wide ResNet-28-10）上均表现出强鲁棒性。
• 消融实验确认，重加权和稀疏化均为coreset框架实现最佳性能的关键组件。