[论文解读] Asymmetric Loss Functions for Learning with Noisy Labels

Xiong Zhou, Xianming Liu+3 more|arXiv (Cornell University)|Jun 6, 2021

Machine Learning and Data Classification被引用 12

一句话总结

本文提出了一种用于带噪声标签的深度学习的非对称损失函数，基于干净标签主导假设，使贝叶斯最优预测与0-1损失一致。该方法引入了一个非对称比率来衡量鲁棒性，表明更高的非对称性可提升对噪声的容忍度，并在各种噪声设置下的基准数据集上优于最先进方法。

ABSTRACT

Robust loss functions are essential for training deep neural networks with better generalization power in the presence of noisy labels. Symmetric loss functions are confirmed to be robust to label noise. However, the symmetric condition is overly restrictive. In this work, we propose a new class of loss functions, namely extit{asymmetric loss functions}, which are robust to learning with noisy labels for various types of noise. We investigate general theoretical properties of asymmetric loss functions, including classification calibration, excess risk bound, and noise tolerance. Meanwhile, we introduce the asymmetry ratio to measure the asymmetry of a loss function. The empirical results show that a higher ratio would provide better noise tolerance. Moreover, we modify several commonly-used loss functions and establish the necessary and sufficient conditions for them to be asymmetric. Experimental results on benchmark datasets demonstrate that asymmetric loss functions can outperform state-of-the-art methods. The code is available at \href{https://github.com/hitcszx/ALFs}{https://github.com/hitcszx/ALFs}

研究动机与目标

• 解决对称损失函数的局限性，其过于严格，导致在标签噪声设置下出现欠拟合。
• 开发一类新型损失函数，通过放宽对称条件，使其对各种类型的标签噪声具有内在鲁棒性。
• 理论上分析非对称损失的校准性、超额风险界和对噪声的容忍度。
• 引入可量化的非对称比率，以衡量并优化损失函数的鲁棒性。
• 证明常见损失函数（如交叉熵、广义交叉熵）的修改版本在满足必要和充分条件时可实现非对称性

提出的方法

• 基于干净标签主导假设，提出非对称损失函数，即在训练数据中真实标签主导被误标的样本。
• 通过将风险最小化表述为加权和，推导损失函数，其中权重最高的项主导优化方向。
• 引入非对称比率作为损失函数对正确标签相对于错误标签偏好程度的度量，更高的比率表示更强的噪声容忍能力。
• 建立常见损失函数（如交叉熵、广义交叉熵）实现非对称性的必要和充分条件。
• 通过引入非对称性，对现有损失函数（如NCE、AGCE、AEL）进行修改，同时保持其优化特性。
• 在MNIST、CIFAR-10和CIFAR-100上通过实证验证，比较对称与非对称标签噪声下的性能表现

实验结果

研究问题

• RQ1 在带噪声标签的深度学习中，非对称损失函数是否能比对称版本展现出更好的噪声容忍能力？
• RQ2 损失函数的非对称比率如何与不同噪声率下的鲁棒性相关联？
• RQ3 标准损失函数（如CE和GCE）实现非对称性的必要和充分条件是什么？
• RQ4 所提出的非对称损失是否保持分类校准性，并具有有界超额风险？
• RQ5 在对称与非对称标签噪声下，非对称损失是否能在多种基准数据集中持续超越最先进方法？

主要发现

• 非对称损失函数在严格非对称时具备分类校准性和超额风险界，确保理论上的合理性。
• 非对称比率与噪声容忍度正相关——比率越高，在标签噪声下泛化性能越好。
• 在MNIST数据集上，40%非对称标签噪声下，AUL和AGCE分别达到98.62%和98.44%的测试准确率，显著优于CE（82.27%）和SCE（85.36%）。
• 在CIFAR-10上，40%非对称噪声下，NCE+AEL达到77.27%准确率，显著优于CE（74.67%）和AGCE（60.91%）。
• 在CIFAR-100上，40%非对称噪声下，NCE+AGCE达到43.76%准确率，超过CE（40.17%）和SCE（36.43%）。
• 所提出的非对称损失在所有数据集和噪声率下均持续优于最先进方法，尤其在高噪声条件下表现更优