[论文解读] Provably End-to-end Label-Noise Learning without Anchor Points

Xuefeng Li, Tongliang Liu+3 more|arXiv (Cornell University)|Feb 4, 2021

Machine Learning and Data Classification参考文献 53被引用 28

一句话总结

VolMinNet 在没有锚点的情况下端到端学习噪声转移矩阵，通过联合优化转移单纯形的体积最小化目标和交叉熵损失，在充分散布条件下实现可证明的可辨识性。

ABSTRACT

In label-noise learning, the transition matrix plays a key role in building statistically consistent classifiers. Existing consistent estimators for the transition matrix have been developed by exploiting anchor points. However, the anchor-point assumption is not always satisfied in real scenarios. In this paper, we propose an end-to-end framework for solving label-noise learning without anchor points, in which we simultaneously optimize two objectives: the cross entropy loss between the noisy label and the predicted probability by the neural network, and the volume of the simplex formed by the columns of the transition matrix. Our proposed framework can identify the transition matrix if the clean class-posterior probabilities are sufficiently scattered. This is by far the mildest assumption under which the transition matrix is provably identifiable and the learned classifier is statistically consistent. Experimental results on benchmark datasets demonstrate the effectiveness and robustness of the proposed method.

研究动机与目标

• 在不依赖锚点的情况下，激励对被污染标签的鲁棒学习。
• 将标签噪声学习表述为一个类别相关、实例无关的转移矩阵 T。
• 开发一个联合端到端框架，同时学习 T 和分类器，在拟合带噪声标签的同时最小化转移体积。
• 在略微散布的条件下，证明所学习的转移矩阵和分类器的可辨识性与一致性。

提出的方法

• 引入 VolMinNet，具有可微分的、对角占优的、列随机的转移矩阵 ˆ_hat˜ 。
• 建模 P(tilde{Y}|X)=T P(Y|X)，并学习 h_theta(X) 以估计 P(Y|X)。
• 优化一个拉氏目标：vol(T_hat) + beta * E[loss(T_hat h_theta(X), tilde{Y})]，使用交叉熵损失。
• 通过 A 参数化 T_hat，其对角为1，非对角为 Sigmoid 值，然后归一化列以强制列随机性和对角占优。
• 在体积最小化中，使用 T_hat 的对数行列式作为单纯形体积的平滑替代。
• 提供可微分的构造，使整体目标可端到端训练。

实验结果

研究问题

• RQ1 在充分散布的清洁后验条件下，是否可以在没有锚点的情况下对转移矩阵 T 进行一致性识别？
• RQ2 在带噪数据上训练时，VolMinNet 框架能否恢复真实的 T 和干净后验 P(Y|X)？
• RQ3 在合成数据集（MNIST、CIFAR-10/100）和真实世界数据集（clothing1M）上的表现如何，相较于现有方法？
• RQ4 体积项在确保可辨识性和对缺乏锚点的鲁棒性方面起到的作用是什么？

主要发现

• VolMinNet 在对称噪声和成对翻转噪声下，在 MNIST、CIFAR-10、CIFAR-100 上实现了强分类性能。
• 该方法对转移矩阵的估计鲁棒，在多项基准测试上超越若干基线。
• 理论结果表明，在充分散布条件下，估计的 T 和学到的干净后验在一致性方面成立，锚点假设是一个特殊情况。
• 在 clothing1M 上的实验表明在不依赖干净数据进行初始化的情况下，对真实世界噪声数据也有效。
• 实证结果表明 VolMinNet 对转移矩阵的估计误差低于竞争估计器。
• 端到端框架消除了两阶段损失校正和伪锚点的需要，从而提高对噪声的鲁棒性。