[論文レビュー] Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization

Yivan Zhang, Gang Niu+1 more|arXiv (Cornell University)|Feb 4, 2021

Machine Learning and Data Classification参考文献 68被引用数 24

ひとこと要約

本稿では、信頼性の低いノイズ付きクラス事後確率推定に依存せずに、クリーンなラベルが一切ない状況でもノイズ付きラベルのみを用いて、ノイズ遷移行列の推定と分類器の学習を同時に実行する新規手法を提案する。全変動正則化を活用して予測確率の識別性を高めることで、緩い仮定のもとで一貫性のある遷移行列推定を実現し、ベンチマークおよび実世界のデータセットにおいて既存のベースラインを上回る性能を達成した。

ABSTRACT

Many weakly supervised classification methods employ a noise transition matrix to capture the class-conditional label corruption. To estimate the transition matrix from noisy data, existing methods often need to estimate the noisy class-posterior, which could be unreliable due to the overconfidence of neural networks. In this work, we propose a theoretically grounded method that can estimate the noise transition matrix and learn a classifier simultaneously, without relying on the error-prone noisy class-posterior estimation. Concretely, inspired by the characteristics of the stochastic label corruption process, we propose total variation regularization, which encourages the predicted probabilities to be more distinguishable from each other. Under mild assumptions, the proposed method yields a consistent estimator of the transition matrix. We show the effectiveness of the proposed method through experiments on benchmark and real-world datasets.

研究の動機と目的

• クリーンなラベルが一切ない状況で、多値分類においてノイズ付きラベルしか入手できない場合のノイズ遷移行列推定の課題に対処すること。
• 深層ニューラルネットワークにおいて過信に陥りがちな、誤りの多いノイズ付きクラス事後確率推定に依存しないこと。
• ノイズ付きデータから遷移行列を推定し、分類器を同時に学習する統合フレームワークの構築。
• アンカーポイントの存在を含む緩い仮定のもとで、遷移行列推定子の理論的整合性を保証すること。
• 予測確率の識別性を高める正則化を施すことにより、弱教師付き学習における一般化性能とロバスト性を向上させること。

提案手法

• 全変動距離における遷移行列の収縮性を活用し、予測クラス事後確率が互いにより明確に区別できるようにするため、全変動正則化を導入する。
• 深層ネットワークを用いてクリーンなクラス事後確率 $\bm{p}(Y|X)$ を予測する一方で、トレーニング中に混同行列から更新される集中パラメータを持つディリクレ事後分布を用いて遷移行列 $\bm{T}$ をモデル化する。
• 分類のための交差エントロピー損失と、予測確率間のペアワイズ全変動正則化項を組み合わせた共同学習目的関数を採用し、$\bm{T}$ の同定可能性を促進する。
• 全変動距離に基づく同値な遷移行列の部分順序を導入し、アンカーポイントの仮定のもとで「最もクリアな」$\bm{p}$ を最適解として選択する。
• クラス確率予測用と、ディリクレ分布と混同行列統計を用いた適応的遷移行列推定用の2モジュールアーキテクチャを採用する。
• 勾配降下法にモーメンタムを適用し、ノイズ構造に関する事前知識に基づいて遷移行列または集中パラメータを初期化する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付きクラス事後確率推定に依存せずに、クリーンなラベルが一切ない状況でも、ノイズ遷移行列を一貫して推定できるか？
• RQ2 ラベル破損プロセスの固有構造をどのように活用すれば、観察的に同等のモデルの中から真の遷移行列を特定できるか？
• RQ3 予測クラス確率が十分に識別可能であることを保証する正則化戦略は何か？
• RQ4 クリーンラベルやアンカーポイント検出を必要とせず、遷移行列の推定と頑健な分類器の学習を同時に実行する統合トレーニング手順は可能か？
• RQ5 既存の2段階手法と比較して、全変動正則化は一般化性能とより正確な遷移行列推定を向上させるか？

主な発見

• 提案手法はベンチマークデータセットにおいて最先端のテスト精度を達成し、Forward、T-Revision、Dual-T、CCEといった既存のベースラインを上回った。Clothing1Mデータセットでは平均71.65%の精度を記録した。
• ほとんどの設定において、遷移行列推定の平均全変動誤差がベースラインより顕著に低く抑えられており、真のノイズ構造のより正確な回復を示している。
• 実世界のClothing1Mデータセットでは、クリーンな検証データが存在しない状況下でも71.65%のテスト精度を達成し、大規模で現実的なノイズ付き学習シナリオにおける有効性を示した。
• 推定された遷移行列は、視覚的に類似したカテゴリ同士がより多く混同されやすいといった、意味的に意味のある誤分類パターンを示しており、解釈可能性と現実世界の関連性を示している。
• 2段階手法（例：Dual-T）と比較して、計算コストが低いにもかかわらず、精度と行列推定誤差の両面で優れた性能を発揮した。
• 理論的分析により、アンカーポイントの存在を含む緩い仮定のもとで、提案手法はノイズ遷移行列の一貫性のある推定子を提供することが示された。