[論文レビュー] Provably End-to-end Label-Noise Learning without Anchor Points

Xuefeng Li, Tongliang Liu+3 more|arXiv (Cornell University)|Feb 4, 2021

Machine Learning and Data Classification参考文献 53被引用数 28

ひとこと要約

VolMinNetはアンカー点なしでノイズ遷移行列をエンドツーエンドで学習し、遷移単体の体積最小化目的とクロスエントロピー損失を共同最適化することで、十分に散乱な条件下で識別性を証明できる。

ABSTRACT

In label-noise learning, the transition matrix plays a key role in building statistically consistent classifiers. Existing consistent estimators for the transition matrix have been developed by exploiting anchor points. However, the anchor-point assumption is not always satisfied in real scenarios. In this paper, we propose an end-to-end framework for solving label-noise learning without anchor points, in which we simultaneously optimize two objectives: the cross entropy loss between the noisy label and the predicted probability by the neural network, and the volume of the simplex formed by the columns of the transition matrix. Our proposed framework can identify the transition matrix if the clean class-posterior probabilities are sufficiently scattered. This is by far the mildest assumption under which the transition matrix is provably identifiable and the learned classifier is statistically consistent. Experimental results on benchmark datasets demonstrate the effectiveness and robustness of the proposed method.

研究の動機と目的

• アンカー点に依存せず、汚染ラベルからのロバストな学習を動機づける。
• クラス依存でインスタンス非依存な遷移行列 T を定式化する。
• ノイズ付きラベルに適合しつつ遷移体積を最小化するよう T と分類器を同時に学習するエンドツーエンドの枠組みを開発する。
• 緩やかに散乱した条件の下で学習された遷移行列と分類器の識別性と一貫性を証明する。

提案手法

• 微分可能で、対角支配的、列確率的な遷移行列 ﾊ_hat を導入する。
• P(tilde{Y}|X)=T P(Y|X) をモデル化し h_theta(X) を学習して P(Y|X) を推定する。
• Lagrangian objective を最適化: vol(T_hat) + beta * E[loss(T_hat h_theta(X), tilde{Y})]、クロスエントロピー損失を用いる。
• T_hat を A によってパラメータ化し、対角成分を1、非対角はシグモイドの値、列を正規化して列確率性と対角支配を確保。
• ボリューム最小化の滑らかな代理として T_hat の行列式の対数を使用。
• 全体の目的がエンドツーエンド訓練可能になるよう微分可能な構成を提供。

実験結果

リサーチクエスチョン

• RQ1 アンカー点なしで clean-posterior 条件の下、遷移行列 T を一貫して識別できるか？
• RQ2 ノイズデータで訓練した場合、VolMinNet フレームワークは真の T とクリーン後方 P(Y|X) を回復するか？
• RQ3 提案手法は synthetic datasets (MNIST, CIFAR-10/100) および real-world (clothing1M) のノイズデータで既存手法と比較してどうか？
• RQ4 ボリューム項の役割は、識別性とアンカー点不在時の頑健性の確保においてどう機能するか？

主な発見

• VolMinNet は MNIST, CIFAR-10, CIFAR-100 で対称ノイズとペアフリップノイズの下で強い分類性能を達成。
• 手法は遷移行列を頑健に推定し、ベースラインを上回る。
• 理論的には、緩やかに散乱した条件の下で推定された T と学習されたクリーン後方の一貫性を示し、アンカー点仮定は特別なケース。
• clothing1M の実験は、クリーンな初期化データに依存せず、現実世界のノイズデータに対する有効性を示す。
• 経験的には VolMinNet が競合推定器より遷移行列推定誤差を低く抑える。
• エンドツーエンドの枠組みは二段階の損失補正や疑似アンカー点を不要とし、ノイズに対する頑健性を改善。