[论文解读] A Second-Order Approach to Learning with Instance-Dependent Label Noise

Zhaowei Zhu, Tongliang Liu+1 more|arXiv (Cornell University)|Dec 22, 2020

Machine Learning and Data Classification参考文献 47被引用 12

一句话总结

该论文提出了一种二阶方法——协方差辅助学习（Covariance-Assisted Learning, CAL），通过利用实例相关噪声率与贝叶斯最优标签之间的协方差估计，将实例相关标签噪声转化为类别相关噪声，从而能够应用现有的鲁棒方法。CAL在CIFAR10、CIFAR100的合成噪声设置以及Clothing1M的真实世界人工噪声设置下均取得了当前最优性能，准确率最高提升达1.5%。

ABSTRACT

The presence of label noise often misleads the training of deep neural networks. Departing from the recent literature which largely assumes the label noise rate is only determined by the true label class, the errors in human-annotated labels are more likely to be dependent on the difficulty levels of tasks, resulting in settings with instance-dependent label noise. We first provide evidences that the heterogeneous instance-dependent label noise is effectively down-weighting the examples with higher noise rates in a non-uniform way and thus causes imbalances, rendering the strategy of directly applying methods for class-dependent label noise questionable. Built on a recent work peer loss [24], we then propose and study the potentials of a second-order approach that leverages the estimation of several covariance terms defined between the instance-dependent noise rates and the Bayes optimal label. We show that this set of second-order statistics successfully captures the induced imbalances. We further proceed to show that with the help of the estimated second-order statistics, we identify a new loss function whose expected risk of a classifier under instance-dependent label noise is equivalent to a new problem with only class-dependent label noise. This fact allows us to apply existing solutions to handle this better-studied setting. We provide an efficient procedure to estimate these second-order statistics without accessing either ground truth labels or prior knowledge of the noise rates. Experiments on CIFAR10 and CIFAR100 with synthetic instance-dependent label noise and Clothing1M with real-world human label noise verify our approach. Our implementation is available at https://github.com/UCSC-REAL/CAL.

研究动机与目标

• 为解决深度学习中实例相关标签噪声的挑战，即错误标注率随样本难易程度而异，从而削弱标准类别相关噪声校正方法的效果。
• 证明二阶统计量——特别是噪声率与贝叶斯最优标签之间的协方差——能够有效建模实例相关噪声带来的不平衡性。
• 开发一种方法，将实例相关噪声下的期望风险转化为仅含类别相关噪声的等价问题，从而可应用成熟的鲁棒学习技术。
• 提供一种实用且高效的程序，用于估计二阶统计量，而无需依赖真实标签或噪声率的先验知识。
• 在合成噪声（CIFAR10/100）和真实世界人工标注数据（Clothing1M）上对方法进行实证验证，显示一致的性能提升。

提出的方法

• 该方法提出一种基于同伴损失（peer loss）[24]的新损失函数，证明在实例相关标签噪声下的期望风险等价于仅含类别相关噪声的变换风险。
• 该变换依赖于对实例相关噪声率与贝叶斯最优标签之间关键协方差项的估计，这些协方差项捕捉了数据中引入的不平衡性。
• 利用一种样本选择技术来估计这些二阶统计量，通过从预训练模型中识别出可靠的预测结果，避免依赖真实标签。
• 采用两阶段训练流程：首先使用标准交叉熵训练模型；其次利用估计的协方差项，通过CAL损失重新训练模型。
• 该方法即使在协方差估计不准确时也具备鲁棒性，并提供了理论上的最坏情况性能保证。
• 最终的损失函数是贝叶斯最优分布下期望风险的仿射变换，确保其最小化点与使用干净标签时相同。

实验结果

研究问题

• RQ1 二阶统计量——特别是噪声率与贝叶斯最优标签之间的协方差——是否能有效建模实例相关标签噪声引起的不平衡？
• RQ2 二阶方法能否将实例相关标签噪声下的学习问题转化为仅含类别相关噪声的等价问题，从而支持现有鲁棒方法的应用？
• RQ3 是否可能在不访问真实标签或噪声率先验知识的情况下，估计所需的二阶统计量？
• RQ4 所提出的CAL方法是否在合成噪声和真实世界噪声标签设置下均优于现有的第一阶方法？
• RQ5 当估计的二阶统计量不准确时，该方法的鲁棒性如何？

主要发现

• 在CIFAR10高噪声率（η=0.6）设置下，CAL达到81.54%的测试准确率，当与同伴项结合时，优于CORES 2（85.55% vs. 84.41%），实现1.14%的显著提升。
• 在CIFAR100的η=0.6设置下，CAL达到81.54%的准确率，显著优于标准交叉熵损失（64.65%）及其他基线方法。
• 在真实世界Clothing1M数据集上，CAL达到74.17%的测试准确率，优于次优方法CORES 2（73.24%），领先0.93%。
• 消融实验表明，仅使用协方差项即可在与同伴项结合时将准确率提升1.14%（从84.41%提升至85.55%），证明其独立贡献。
• 即使协方差估计不准确，该方法仍保持强性能，理论最坏情况保证支持其鲁棒性。
• 通过基于模型预测的样本选择方法，高效估计二阶统计量，实现无需真实标签的实用化部署。