[论文解读] Learning from Noisy Labels with Deep Neural Networks

Sainbayar Sukhbaatar, Rob Fergus|arXiv (Cornell University)|Jan 1, 2014

Machine Learning and Data Classification被引用 12

一句话总结

本文提出了一种针对深度卷积网络的噪声感知训练方法，通过引入一个自适应噪声层，在反向传播过程中对标签噪声进行建模与校正。通过在端到端训练过程中估计噪声参数，该方法显著提升了在标签不准确的数据集上的模型鲁棒性，在ImageNet及其他基准数据集上表现出色。

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

研究动机与目标

• 解决在大规模真实应用中常见的标签不准确或有噪声的数据集上训练深度神经网络的挑战。
• 开发一种在训练过程中显式建模标签噪声的方法，而无需依赖干净标签或复杂的数据清洗。
• 提升在噪声监督下进行判别性训练的卷积网络的泛化能力与准确率。
• 将噪声建模无缝集成到现有的深度学习训练流程中，仅需极少的架构修改。

提出的方法

• 引入一个可微分的噪声层，用于建模给定真实标签时的噪声标签条件概率。
• 使用梯度下降法在训练过程中估计噪声转移矩阵。
• 修改交叉熵损失函数以考虑噪声层，从而实现端到端优化。
• 将噪声层置于最终分类层之后，使网络能够根据观察到的噪声标签分布自适应调整预测结果。
• 使用标准反向传播训练模型，同时与网络权重联合更新噪声参数。
• 使用经验标签分布初始化噪声层参数，以实现快速收敛。

实验结果

研究问题

• RQ1 是否可以在不依赖干净标签或数据清洗的前提下，有效训练深度神经网络以应对存在噪声标签的数据集？
• RQ2 在训练过程中显式建模标签噪声，对泛化能力和准确率有何影响？
• RQ3 是否可以仅使用噪声标签，在训练过程中可靠地估计噪声转移矩阵？
• RQ4 所提出的方法是否能提升在ImageNet等大规模基准数据集上存在噪声标签时的性能？

主要发现

• 即使在训练标签被严重噪声污染的情况下，该方法在ImageNet上仍实现了显著的准确率提升。
• 噪声层通过显式建模标签不确定性，使网络能够学习到更鲁棒的表征。
• 该方法在多种数据集（包括CIFAR-10和CIFAR-100）上均表现出高鲁棒性，且在不同噪声水平下性能稳定。
• 噪声参数在训练过程中被成功估计，证明了端到端学习标签噪声的可行性。
• 该方法对现有训练流程的修改极少，具有良好的实际部署可行性。