[论文解读] Does label smoothing mitigate label noise?

Michał Łukasik, Srinadh Bhojanapalli+2 more|arXiv (Cornell University)|Mar 5, 2020

Machine Learning and Data Classification参考文献 39被引用 19

一句话总结

本文研究标签平滑是否能缓解深度学习中的标签噪声，表明尽管其在形式上等价于注入对称噪声，但标签平滑实际上作为一种正则化方法，可提升在标签噪声下的泛化能力和性能。研究显示，标签平滑在性能上可与现有的损失校正技术相媲美，并在应用于噪声教师模型时显著提升知识蒸馏的效果。

ABSTRACT

Label smoothing is commonly used in training deep learning models, wherein one-hot training labels are mixed with uniform label vectors. Empirically, smoothing has been shown to improve both predictive performance and model calibration. In this paper, we study whether label smoothing is also effective as a means of coping with label noise. While label smoothing apparently amplifies this problem --- being equivalent to injecting symmetric noise to the labels --- we show how it relates to a general family of loss-correction techniques from the label noise literature. Building on this connection, we show that label smoothing is competitive with loss-correction under label noise. Further, we show that when distilling models from noisy data, label smoothing of the teacher is beneficial; this is in contrast to recent findings for noise-free problems, and sheds further light on settings where label smoothing is beneficial.

研究动机与目标

• 研究标签平滑（常用于模型校准与泛化）在缓解标签噪声方面的有效性。
• 阐明标签平滑与标签噪声文献中现有损失校正技术之间的理论关系。
• 评估在训练数据包含标签噪声时，标签平滑对知识蒸馏的影响。
• 调和标签平滑的噪声注入效应与其观察到的去噪优势之间的表面矛盾。

提出的方法

• 作者将标签平滑与标签噪声文献中的一类损失校正技术（特别是基于反向校正的方法）联系起来。
• 将标签平滑分析为一种L2正则化形式，表明其会促使模型预测向均匀分布收缩，从而降低过自信程度。
• 在CIFAR-10和CIFAR-100上进行实证评估，通过控制标签噪声，将标签平滑与前向校正和标准训练进行比较。
• 应用知识蒸馏，使用在带噪声标签上训练的教师模型（带与不带标签平滑），并评估学生模型的性能。
• 研究采用基于温度的蒸馏方法，并通过测量不同平滑程度（α）下的准确率，评估模型的鲁棒性。
• 理论分析将标签平滑与正则化联系起来，通过激活值的收缩解释其去噪效应。

实验结果

研究问题

• RQ1 尽管标签平滑在形式上等价于注入对称噪声，它是否仍能缓解标签噪声？
• RQ2 标签平滑与标签噪声文献中已有的损失校正技术有何关联？
• RQ3 当教师模型在带噪声标签上训练时，标签平滑是否能提升知识蒸馏的性能？
• RQ4 鉴于其正则化效应，为何标签平滑能在标签噪声下提升泛化能力？

主要发现

• 在CIFAR-10和CIFAR-100上，标签平滑在降低标签噪声下的错误率方面，与前向校正及其他损失校正技术具有可比性。
• 当应用于在噪声标签上训练的教师模型时，标签平滑能提升蒸馏性能，优于原始蒸馏方法。
• 在不同平滑程度α下，标签平滑在噪声环境下提升蒸馏性能的优势均保持稳健，且α值越高，改进越一致。
• 标签平滑作为一种隐式的L2正则化器，其去噪效应可通过降低模型过自信程度并使预测向均匀分布收缩来解释。
• 结果与无噪声环境下的先前发现相矛盾：在无噪声设置中，教师模型使用标签平滑会损害蒸馏；而在此噪声环境下，标签平滑则具有益处。
• 本研究确立了标签平滑可作为一种可行的去噪技术，其理论与实证依据均来自其正则化解释。