[论文解读] Learning from Noisy Labels with Deep Neural Networks: A Survey

Hwanjun Song, Minseok Kim+3 more|arXiv (Cornell University)|Jul 16, 2020

Machine Learning and Data Classification被引用 91

一句话总结

本综述评估了在带有噪声标签的深度神经网络学习中的鲁棒训练方法，将62种方法分为五类，并分析评估实践和噪声设定。

ABSTRACT

Deep learning has achieved remarkable success in numerous domains with help from large amounts of big data. However, the quality of data labels is a concern because of the lack of high-quality labels in many real-world scenarios. As noisy labels severely degrade the generalization performance of deep neural networks, learning from noisy labels (robust training) is becoming an important task in modern deep learning applications. In this survey, we first describe the problem of learning with label noise from a supervised learning perspective. Next, we provide a comprehensive review of 62 state-of-the-art robust training methods, all of which are categorized into five groups according to their methodological difference, followed by a systematic comparison of six properties used to evaluate their superiority. Subsequently, we perform an in-depth analysis of noise rate estimation and summarize the typically used evaluation methodology, including public noisy datasets and evaluation metrics. Finally, we present several promising research directions that can serve as a guideline for future studies. All the contents will be available at https://github.com/songhwanjun/Awesome-Noisy-Labels.

研究动机与目标

• 激发在深度学习中从噪声标签学习的问题及其对泛化的影响。
• 提供针对标签噪声的 DNN 鲁棒训练方法的全面分类法。
• 总结在架构、正则化、损失函数、损失调整和样本选择等方面的理论基础与实际算法。
• 评估这些方法的测试方式，包括噪声模型和公开数据集，并讨论鲁棒性测量。
• 提出有前景的研究方向，以引导在标签噪声下进行鲁棒深度学习的未来工作。

提出的方法

• 将鲁棒训练方法分为五类：鲁棒架构、鲁棒正则化、鲁棒损失函数、损失调整和样本选择。
• 描述诸如噪声适应层等用于建模标签转移概率的架构适配，以及为复杂噪声设计的专用架构。
• 解释显式与隐式正则化技术，包括双层学习、预训练、mixup 和数据增强。
• 总结鲁棒损失函数，如 MAE、GCE、bi-tempered loss、symmetric cross entropy、curriculum loss，以及 active/passive loss。
• 详细说明使用估计的噪声转移矩阵来修正损失的方法，包括 backward/forward correction 和 gold loss correction。
• 讨论样本选择策略和元学习方法，用于识别干净标签并相应调整学习过程。
• 引用理论结果，显示在何种条件下某些损失对对称噪声或非对称噪声具有鲁棒性，以及这些与深度网络之间的关系。

实验结果

研究问题

• RQ1 在标签噪声下，深度神经网络的鲁棒训练技术的主要类别有哪些？
• RQ2 噪声模型（对称、非对称、实例相关）如何影响鲁棒方法的设计与有效性？
• RQ3 在深度学习中，损失函数对标签噪声鲁棒性的理论保证或条件是什么？
• RQ4 在公开数据集和不同噪声情形下，鲁棒方法如何进行评估，以及使用了哪些评估指标？
• RQ5 在使用 DNN 学习带噪声标签方面，未来研究的有希望的方向和尚存的空白点有哪些？

主要发现

• 本综述将62种最先进的鲁棒训练方法分为五类进行审阅。
• 鲁棒架构方法包括噪声适应层和用于建模标签转移概率的专用架构。
• 正则化技术（显式和隐式）增强鲁棒性，包括双层学习、预训练、对抗训练和 mixup。
• 鲁棒损失函数（例如 MAE、GCE、SCE）和损失调整方法（前向/后向校正、gold loss correction）被用于分析对噪声的容忍度。
• 损失调整和样本选择，通常与元学习结合，对减轻噪声标签的影响很重要。
• 本文讨论了噪声率估计、评估方法、公开的噪声数据集和评估指标，强调未来研究方向。