[論文レビュー] Meta Transition Adaptation for Robust Deep Learning with Noisy Labels

Jun Shu, Qian Zhao+2 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 49被引用数 22

ひとこと要約

本稿では、ノイズの多いラベル設定において、アンカーポイントの仮定を回避し、頑健性を向上させるために、少量のクリーンラベルメタデータを活用してノイズ遷移行列と分類器を共同最適化するメタ遷移適応法を提案する。この手法は、統計的に一貫した遷移行列推定を達成し、合成および実世界のベンチマーク（ノイズなし状況を含む）においてSOTA手法を上回る性能を示す。

ABSTRACT

To discover intrinsic inter-class transition probabilities underlying data, learning with noise transition has become an important approach for robust deep learning on corrupted labels. Prior methods attempt to achieve such transition knowledge by pre-assuming strongly confident anchor points with 1-probability belonging to a specific class, generally infeasible in practice, or directly jointly estimating the transition matrix and learning the classifier from the noisy samples, always leading to inaccurate estimation misguided by wrong annotation information especially in large noise cases. To alleviate these issues, this study proposes a new meta-transition-learning strategy for the task. Specifically, through the sound guidance of a small set of meta data with clean labels, the noise transition matrix and the classifier parameters can be mutually ameliorated to avoid being trapped by noisy training samples, and without need of any anchor point assumptions. Besides, we prove our method is with statistical consistency guarantee on correctly estimating the desired transition matrix. Extensive synthetic and real experiments validate that our method can more accurately extract the transition matrix, naturally following its more robust performance than prior arts. Its essential relationship with label distribution learning is also discussed, which explains its fine performance even under no-noise scenarios.

研究の動機と目的

• 強いアンカーポイント仮定に依存する従来手法の限界、および高ノイズ領域における不正確な遷移行列推定の問題に対処すること。
• 少量のクリーンラベルメタデータを用いて、分類器と遷移行列を共同最適化するメタラーニングフレームワークの構築。
• ノイズラベル条件下での正確な遷移行列推定に対して、統計的整合性の保証を提供すること。
• 現実世界のデータに内在するクラス間の曖昧さを学習した遷移行列によって捉えることで、ラベルノイズが存在しない状況でもモデルの一般化性能と頑健性を向上させること。

提案手法

• 本手法は、少量のクリーンラベルメタデータを用いて、メタラーニングを通じてノイズの多い学習データ上で遷移行列と分類器パラメータの共同最適化をガイドする。
• 外側のループではメタデータ上で交差エントロピー損失を最小化し、内側のループではノイズの多い訓練データ上で分類器と遷移行列を最適化する二段階最適化問題を定式化する。
• 遷移行列は、ラベルの反転に関するクラス条件付き確率分布として定式化され、メタデータに従って勾配更新によって学習される。
• アンカーポイントの明示的仮定を回避するため、メタデータを用いて推定を安定化させ、ノイズラベルへの過剰適合を防ぐ。
• 理論的分析により、ややきつい正則性条件のもとで、推定された遷移行列が真の遷移行列に対して統計的に一貫していることを証明する。
• 本手法は、ハードラベルから学習した遷移行列を用いてソフトラベル分布を近似することで、ラベル分布学習へ自然に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 アンカーポイント仮定を必要とせずに、メタラーニング戦略がノイズ遷移行列推定の精度を向上させられるか？
• RQ2 提案手法は、高ノイズおよび低ノイズのラベル領域において、SOTA手法と比較してどのように性能を発揮するか？
• RQ3 本手法は、分布シフトやアドバーシャル攻撃の下でも、モデルの一般化性能と頑健性を向上させられるか？
• RQ4 本手法とラベル分布学習の理論的関係は何か？

主な発見

• 本手法は、合成および実世界のノイズラベルデータセット（Clothing1Mを含む）において、従来のSOTA手法よりもより正確な遷移行列推定を達成する。
• Clothing1Mにおいて、交差エントロピー学習や他のSOTAベースラインと比較して、トップ1誤差を顕著に低減し、より高い頑健性を示す。
• 分布外データセットにおいて、本手法はソフトラベル学習（CIFAR10H）のテスト精度の1%以内に達し、優れた一般化性能を示す。
• FGSMおよびPGDアドバーシャル攻撃の下でも、ハードラベル学習と比較して、より高い精度と低い交差エントロピー損失を維持し、頑健性の向上を示す。
• ノイズなしの状況でも、学習された遷移行列によってクラス間の曖昧さを捉えることで、標準的な交差エントロピー学習を上回る性能を発揮する。
• 理論的分析により、ややきつい条件のもとで、真の遷移行列に対する統計的整合性が保証されることを確認した。