[论文解读] Estimating Instance-dependent Label-noise Transition Matrix using DNNs.

Shuo Yang, Erkun Yang+5 more|arXiv (Cornell University)|May 27, 2021

Machine Learning and Data Classification参考文献 61被引用 14

一句话总结

本文提出了一种新颖的方法，通过深度神经网络估计贝叶斯标签转换矩阵——即从贝叶斯最优标签映射到噪声标签的转换矩阵——利用贝叶斯最优标签具有单热后验分布的特性，从而减少不确定性并缩小解空间。该方法在实例相关标签噪声设置下，实现了更准确且泛化能力更强的分类器学习，优于传统基于干净标签的转换矩阵估计方法。

ABSTRACT

In label-noise learning, estimating the transition matrix is a hot topic as the matrix plays an important role in building statistically consistent classifiers. Traditionally, the transition from clean distribution to noisy distribution (i.e., clean label transition matrix) has been widely exploited to learn a clean label classifier by employing the noisy data. Motivated by that classifiers mostly output Bayes optimal labels for prediction, in this paper, we study to directly model the transition from Bayes optimal distribution to noisy distribution (i.e., Bayes label transition matrix) and learn a Bayes optimal label classifier. Note that given only noisy data, it is ill-posed to estimate either the clean label transition matrix or the Bayes label transition matrix. But favorably, Bayes optimal labels are less uncertain compared with the clean labels, i.e., the class posteriors of Bayes optimal labels are one-hot vectors while those of clean labels are not. This enables two advantages to estimate the Bayes label transition matrix, i.e., (a) we could theoretically recover a set of Bayes optimal labels under mild conditions; (b) the feasible solution space is much smaller. By exploiting the advantages, we estimate the Bayes label transition matrix by employing a deep neural network in a parameterized way, leading to better generalization and superior classification performance.

研究动机与目标

• 为解决在实例相关标签噪声下学习鲁棒分类器的挑战，其中传统基于干净标签的转换矩阵估计方法是病态的。
• 利用贝叶斯最优标签具有单热类别后验分布的特性，减少不确定性，从而实现更可靠的矩阵估计。
• 提出一种参数化的深度神经网络方法，直接从噪声数据中估计贝叶斯标签转换矩阵。
• 通过利用贝叶斯最优标签的可行解空间更小的特性，提升泛化能力和分类性能。
• 建立理论条件，说明在何种情况下可从噪声数据中恢复贝叶斯最优标签。

提出的方法

• 建模从贝叶斯最优标签后验分布到观测到的噪声标签后验分布的转换，而非从干净标签到噪声标签的转换。
• 使用深度神经网络参数化贝叶斯标签转换矩阵，实现从噪声数据端到端的学习。
• 利用贝叶斯最优标签后验分布的单热特性，约束解空间并提升估计的稳定性。
• 将估计问题形式化为一个优化问题，以最小化预测的噪声标签后验分布与实际观测到的噪声标签后验分布之间的差异。
• 仅使用噪声数据进行网络训练，在较弱假设下允许理论上恢复贝叶斯最优标签。
• 将估计得到的转换矩阵集成到分类器训练流程中，以生成统计上一致的预测结果。

实验结果

研究问题

• RQ1 在贝叶斯最优标签后验分布具有单热特性的前提下，能否仅从噪声数据中可靠估计贝叶斯标签转换矩阵？
• RQ2 建模从贝叶斯最优标签到噪声标签的转换是否比建模从干净标签到噪声标签的转换具有更好的泛化性能？
• RQ3 在何种条件下，可使用该方法从噪声数据中理论上恢复贝叶斯最优标签？
• RQ4 贝叶斯标签转换的可行解空间缩小如何提升估计精度和模型鲁棒性？
• RQ5 与现有标签噪声学习技术相比，该方法在实证性能上带来了多大提升？

主要发现

• 在实例相关噪声设置下，所提方法在分类性能上优于当前最先进的标签噪声学习方法。
• 理论分析表明，在较弱条件下可恢复贝叶斯最优标签，从而实现对转换矩阵的一致估计。
• 贝叶斯最优标签后验分布的单热特性显著降低了不确定性，导致更小且更稳定的可行解空间。
• 基于深度神经网络的转换矩阵参数化方法，使模型在噪声数据上具备更好的泛化能力和鲁棒性。
• 实证结果表明，从贝叶斯标签转换矩阵学习可得到比从干净标签转换矩阵学习更准确且更一致的分类器。