[论文解读] Deep Learning is Robust to Massive Label Noise

David Rolnick, Andreas Veit+2 more|arXiv (Cornell University)|May 30, 2017

Machine Learning and Data Classification参考文献 27被引用 408

一句话总结

本文表明标准深度网络在训练标签被大规模污染时也能很好地泛化，只要数据量足够大且训练设置合适。

ABSTRACT

Deep neural networks trained on large supervised datasets have led to impressive results in image classification and other tasks. However, well-annotated datasets can be time-consuming and expensive to collect, lending increased interest to larger but noisy datasets that are more easily obtained. In this paper, we show that deep neural networks are capable of generalizing from training data for which true labels are massively outnumbered by incorrect labels. We demonstrate remarkably high test performance after training on corrupted data from MNIST, CIFAR, and ImageNet. For example, on MNIST we obtain test accuracy above 90 percent even after each clean training example has been diluted with 100 randomly-labeled examples. Such behavior holds across multiple patterns of label noise, even when erroneous labels are biased towards confusing classes. We show that training in this regime requires a significant but manageable increase in dataset size that is related to the factor by which correct labels have been diluted. Finally, we provide an analysis of our results that shows how increasing noise decreases the effective batch size.

研究动机与目标

• 激励在极端标签噪声下研究深度学习，以评估带噪注释的实际数据获取情况。
• 量化在跨多个数据集和架构中，随着标签噪声增加，测试性能的退化（或保持）程度。
• 了解数据集大小、批量大小和学习率如何相互作用，在嘈杂环境下持续学习。
• 表征标签噪声的来源和结构及其对学习动态的影响。
• 为在清晰标签稀缺或昂贵时设计训练流程提供见解。

提出的方法

• 系统性地对每个干净标签添加α个嘈杂标签，在MNIST、CIFAR-10和ImageNet上创建高度嘈杂的训练集。
• 评估多种架构（MLP、卷积网络 ConvNet、ResNet）以比较对噪声的容忍度。
• 建模三种噪声模式：均匀标签噪声、结构化噪声，以及来自其他源的超出词汇表/噪声。
• 通过实证实验和理论噪声损失形式(Hα)分析批量大小和学习率对噪声下学习的影响。
• 研究不同噪声源（同一数据集、不同数据集、白噪声）对鲁棒性的影响。

实验结果

研究问题

• RQ1 当标签噪声远多于正确标签时，深度网络能多好地泛化？
• RQ2 在大规模标签噪声下，需要怎样的数据集规模、批量大小和学习率设置才能达到高准确率？
• RQ3 不同的噪声结构（均匀、结构化）如何影响带噪声标签的学习？
• RQ4 噪声源（同域/跨域/随机）对鲁棒性的影响是什么？
• RQ5 是否可以用理论性的噪声损失视角来解释在高噪声下观察到的鲁棒性？

主要发现

• 在MNIST上，当正确标签被噪声标签的数量多达100倍时，深度网络仍保持较高的测试表现（准确率超过90%）。
• 在CIFAR-10上，网络在每个干净标签对应10个噪声标签时仍取得超过85%的准确率；在ImageNet上，top-5准确率在每个干净标签对应5个噪声标签时仍保持在70%以上。
• 较大规模的网络（ConvNets、ResNets）往往比较小的架构对标签噪声更鲁棒。
• 足够大的训练集可以弥补更高的噪声，所需的干净数据量大致与噪声水平成线性关系增加（略呈现超线性）。
• 增大批量大小可减轻来自噪声标签的信号损失，随着噪声增加应降低学习率。