[论文解读] Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning

Yu Yao, Tongliang Liu+5 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification参考文献 49被引用 105

一句话总结

本文提出一种 dual- T estimator，通过在中间类别的帮助下将转移矩阵分解为两个更易估计的矩阵，从而降低估计误差并在标签噪声下改善分类。

ABSTRACT

The transition matrix, denoting the transition relationship from clean labels to noisy labels, is essential to build statistically consistent classifiers in label-noise learning. Existing methods for estimating the transition matrix rely heavily on estimating the noisy class posterior. However, the estimation error for noisy class posterior could be large due to the randomness of label noise, which would lead the transition matrix to be poorly estimated. Therefore, in this paper, we aim to solve this problem by exploiting the divide-and-conquer paradigm. Specifically, we introduce an intermediate class to avoid directly estimating the noisy class posterior. By this intermediate class, the original transition matrix can then be factorized into the product of two easy-to-estimate transition matrices. We term the proposed method the dual-T estimator. Both theoretical analyses and empirical results illustrate the effectiveness of the dual-T estimator for estimating transition matrices, leading to better classification performances.

研究动机与目标

• 动机是在标签噪声学习中降低转移矩阵的估计误差。
• 引入一个带有中间类别的分而治之框架以因式分解转移矩阵。
• 提出这两个新转移矩阵的实用估计量并证明它们的理论优势。
• 在多个数据集上展示转移矩阵估计与下游分类的实证提升。

提出的方法

• 用中间类别 Y' 将原始转移矩阵 T 表示为 T = T^{\u001a3spadesuit} T^{\u001a3clubsuit}（式2）。
• 将 T^{\u001a3clubsuit}_{il} 定义为 P(Y'=l|Y=i)，并使用与对 T 相同的 T 估计方法来估计它，利用锚点或估计的噪声后验。
• 将 T^{\u001a3spadesuit}_{lj}(Y=i) 定义为 P(\bar{Y}=j|Y'=l, Y=i)，在生成中间标签后通过计数来估计（式4）。
• 令 P(Y'|x) = P(\bar{Y}|x) 以将中间类别与噪声标签联系起来。
• 给出一个算法（Algorithm 1）通过带噪声数据和锚点估计来计算 orInt 和 orNoisy。
• 论证这两个新矩阵比 T 更易估计，在锚点条件下 T^{\u001a3clubsuit} 的估计误差为零，并通过使用带噪声标签的预测来降低 T^{\u001a3spadesuit} 的误差。

实验结果

研究问题

• RQ1 分而治之策略是否能提高标签噪声学习中转移矩阵的可识别性和估计准确性？
• RQ2 引入中间类别 Y' 并将 T 分解为 T^{\u001a3spadesuit} 和 T^{\u001a3clubsuit} 是否比直接估计 T 能降低估计误差？
• RQ3 有哪些理论保障支持 dual- T estimator 所声称的估计误差降低？
• RQ4 dual- T estimator 如何影响合成和真实世界带噪声标签数据集上的下游分类器性能？

主要发现

• 与标准 T 估计器相比，dual- T 估计器降低了转移矩阵的估计误差。
• 在锚点条件下，T^{\u001a3clubsuit} 的估计误差几乎为零，便于估计。
• T^{\u001a3spadesuit} 的估计误差依赖于对带噪声标签的预测，这比估计带噪声后验更容易，因此整体误差更低。
• 在 MNIST、Fashion-MNIST、CIFAR10、CIFAR100 和 Clothing1M 上的实证结果表明，dual- T estimator 在大多数大样本设置下优于 T 估计器，提升了多种基线的分类准确率。
• 理论分析（定理 1）证实在合理假设下 dual- T estimator 具有更小的估计误差。