[論文レビュー] Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning

Yu Yao, Tongliang Liu+5 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification参考文献 49被引用数 105

ひとこと要約

本論文は、中間クラスを介して遷移行列を二つの推定しやすい行列に因数分解するデュアル- T推定量を提案し、推定誤差を低減するとともにラベルノイズ下の分類性能を向上させる。

ABSTRACT

The transition matrix, denoting the transition relationship from clean labels to noisy labels, is essential to build statistically consistent classifiers in label-noise learning. Existing methods for estimating the transition matrix rely heavily on estimating the noisy class posterior. However, the estimation error for noisy class posterior could be large due to the randomness of label noise, which would lead the transition matrix to be poorly estimated. Therefore, in this paper, we aim to solve this problem by exploiting the divide-and-conquer paradigm. Specifically, we introduce an intermediate class to avoid directly estimating the noisy class posterior. By this intermediate class, the original transition matrix can then be factorized into the product of two easy-to-estimate transition matrices. We term the proposed method the dual-T estimator. Both theoretical analyses and empirical results illustrate the effectiveness of the dual-T estimator for estimating transition matrices, leading to better classification performances.

研究の動機と目的

• ラベルノイズ学習における遷移行列の推定誤差を低減する動機づけ。
• 中間クラスを用いて遷移行列を因数分解する分割統治フレームワークを導入。
• 新しい二つの遷移行列の実用的推定器を提案し、それらの理論的利点を証明。
• データセットを横断して遷移行列の推定と下流の分類の実証的向上を示す。

提案手法

• 元の遷移行列 T を T = T^{\u001a3spadesuit} T^{\u001a3clubsuit} と intermediate class Y' を用いて表現する（Eq. 2）。
• T^{\u001a3clubsuit}_{il} = P(Y'=l|Y=i) を定義し、T と同じ T 推定アプローチを用いて推定する。アンカー点または推定されたノイズ後方分布を活用。
• T^{\u001a3spadesuit}_{lj}(Y=i) = P(\bar{Y}=j|Y'=l, Y=i) を定義し、中間ラベルを生成した後のカウントから推定する（Eq. 4）。
• P(Y'|x) = ϕromP(\bar{Y}|x)ϕ を設定して、中間クラスをノイズ付きラベルへ接続。
• Algorithm 1 を提供し、ノイズデータとアンカー点推定を介して ϕorInt と ϕorNoisy を計算。
• 二つの新しい行列は T より推定が容易で、アンカー点下では T^{\u001a3clubsuit} の推定誤差はゼロ、ノイズ付きラベル予測を用いることで T^{\u001a3spadesuit} の推定誤差を低減し、全体として誤差が小さくなると主張。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズ学習における識別性と推定精度を分割統治戦略が改善できるか？
• RQ2 中間クラス Y' を導入し、T を T^{\u001a3spadesuit} と T^{\u001a3clubsuit} に因数分解することは、直接 T を推定する場合と比較して推定誤差を低減するか？
• RQ3 デュアル- T 推定量の推定誤差低下を裏付ける理論的保証は何か？
• RQ4 デュアル- T 推定量は、合成データと実世界のノイズ付きラベルデータセットにおける下流の分類性能にどのように影響するか？

主な発見

• デュアル- T 推定量は、標準の T 推定量と比較して遷移行列の推定誤差を低減する。
• アンカー点の下では T^{\u001a3clubsuit} の推定誤差は実質的にゼロとなり、推定が容易になる。
• T^{\u001a3spadesuit} の推定誤差はノイズ付きラベルの予測に依存するため、ノイズ付き事後確率を推定するよりも容易であり、全体的な誤差が低くなる。
• MNIST, Fashion-MNIST, CIFAR10, CIFAR100, そして Clothing1M における経験的結果は、デュアル- T 推定量が大規模サンプル設定で T 推定量を上回り、いくつかのベースラインで分類精度を向上させる。
• 理論解析（Theorem 1）は、妥当な仮定の下でデュアル- T推定量が推定誤差を小さくすることを裏付ける。