[论文解读] When Optimizing $f$-divergence is Robust with Label Noise

Jiaheng Wei, Yang Liu|arXiv (Cornell University)|Nov 7, 2020

Machine Learning and Data Classification参考文献 35被引用 6

一句话总结

本文表明，优化某些 f-散度度量——尤其是总变差、Jensen-Shannon 和 Pearson χ²——在标签噪声下依然保持鲁棒性，这是由于其变分解耦特性能够将干净与噪声成分分离。作者推导出 f-散度在无需噪声率估计的情况下天然鲁棒的条件，并在鲁棒性失效时提出修正方法，通过在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 上的大量实验得到验证。

ABSTRACT

We show when maximizing a properly defined $f$-divergence measure with respect to a classifier's predictions and the supervised labels is robust with label noise. Leveraging its variational form, we derive a nice decoupling property for a family of $f$-divergence measures when label noise presents, where the divergence is shown to be a linear combination of the variational difference defined on the clean distribution and a bias term introduced due to the noise. The above derivation helps us analyze the robustness of different $f$-divergence functions. With established robustness, this family of $f$-divergence functions arises as useful metrics for the problem of learning with noisy labels, which do not require the specification of the labels' noise rate. When they are possibly not robust, we propose fixes to make them so. In addition to the analytical results, we present thorough experimental evidence. Our code is available at https://github.com/UCSC-REAL/Robust-f-divergence-measures.

研究动机与目标

• 识别在使用噪声标签进行优化时仍保持鲁棒性的 f-散度度量。
• 开发一种变分框架，实现 f-散度优化中干净与噪声成分的解耦。
• 提供一组无需事先知晓噪声率的鲁棒损失函数。
• 通过估计噪声率对非鲁棒 f-散度进行修正，提升训练的鲁棒性。
• 在多个数据集和噪声设置下，实证验证所提出的 f-散度度量的鲁棒性与有效性。

提出的方法

• 推导 f-散度的变分形式，揭示其可线性分解为干净变分差异与噪声引起的偏差项。
• 建立 f-散度对标签噪声保持不变的条件，特别是针对总变差和 Jensen-Shannon 散度。
• 提出一种针对非鲁棒 f-散度的修正机制，通过估计噪声转移矩阵并相应调整散度函数。
• 利用变分分解表明，最大化 f-散度可促使预测与真实标签之间扩展 f-互信息的最大化。
• 在 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 上实现并评估所提出的 f-散度度量，采用多样的噪声矩阵。
• 在各数据集上采用一致的训练协议，包括使用交叉熵进行热身训练，随后采用学习率调度进行 f-散度优化。

实验结果

研究问题

• RQ1 哪些 f-散度度量在无需噪声率估计的情况下天然对标签噪声具有鲁棒性？
• RQ2 在标签噪声下，f-散度的变分形式如何分解？这揭示了关于鲁棒性的哪些信息？
• RQ3 在何种条件下，f-散度优化能保持贝叶斯最优分类器，即使存在标签噪声？
• RQ4 能否通过估计噪声率来修正非鲁棒的 f-散度？该修正方法的有效性如何？
• RQ5 在不同标签噪声设置下，基于 f-散度的训练方法与最先进基线方法相比，在准确率方面表现如何？

主要发现

• 总变差散度在所有测试条件下对标签噪声均保持鲁棒，理论分析与实证结果均证实了这一点。
• Jensen-Shannon 散度与 Pearson χ² 散度在特定条件下具有鲁棒性，特别是当噪声转移矩阵满足某些对称性或稀疏性约束时。
• 变分形式表明，噪声 f-散度是干净变分差异的仿射变换加上一个偏差项，从而支持对鲁棒性的理论分析。
• 对于非鲁棒 f-散度，所提出的基于噪声率估计的修正方法显著提升了泛化性能，尤其在非对称标签噪声下效果明显。
• 在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 上的实证结果表明，f-散度优化即使不依赖噪声率估计，也优于或匹配最先进基线方法。
• 所提出方法在多种噪声水平（如 0.5 和 0.7 的随机翻转）下均表现出色，展现出一致的鲁棒性。