[論文レビュー] IMAE for Noise-Robust Learning: Mean Absolute Error Does Not Treat Examples Equally and Gradient Magnitude's Variance Matters

Xinshao Wang, Hua Yang+3 more|arXiv (Cornell University)|Mar 28, 2019

Machine Learning and Data Classification参考文献 54被引用数 44

ひとこと要約

本論文はMAEのロバスト性と過適合の問題を分析し、次にIMAEを提案する。IMAEはMAEの勾配の大きさを指数関数的に重みづけして勾配分散を調整し、ノイズ耐性を保ちながら学習を改善する。

ABSTRACT

In this work, we study robust deep learning against abnormal training data from the perspective of example weighting built in empirical loss functions, i.e., gradient magnitude with respect to logits, an angle that is not thoroughly studied so far. Consequently, we have two key findings: (1) Mean Absolute Error (MAE) Does Not Treat Examples Equally. We present new observations and insightful analysis about MAE, which is theoretically proved to be noise-robust. First, we reveal its underfitting problem in practice. Second, we analyse that MAE's noise-robustness is from emphasising on uncertain examples instead of treating training samples equally, as claimed in prior work. (2) The Variance of Gradient Magnitude Matters. We propose an effective and simple solution to enhance MAE's fitting ability while preserving its noise-robustness. Without changing MAE's overall weighting scheme, i.e., what examples get higher weights, we simply change its weighting variance non-linearly so that the impact ratio between two examples are adjusted. Our solution is termed Improved MAE (IMAE). We prove IMAE's effectiveness using extensive experiments: image classification under clean labels, synthetic label noise, and real-world unknown noise.

研究の動機と目的

• 異常な訓練データ下でのロバストな深層学習を動機づけ、MAEとCCEが勾配の大きさを介して例をどのように重み付けするかを検証する。
• MAEは勾配大きさの分散が低いため過適合しにくく、意味のあるパターンを学習するうえで勾配分散が重要であることを示す。
• MAEの全体的な重み付け方を変えずに、勾配大きさの分散を非線形に調整するImproved MAE（IMAE）を提案する。
• クリーンラベル、合成ラベルノイズ、現実的な未知ノイズの各条件でIMAEの有効性を示す。

提案手法

• CCE、MAE、IMAEにおける例の重み付けを解釈するため、ロジットに対する勾配を分析する。
• CCEとMAEの下でのサンプルごとの勾配大きさの閉形式表現を導出する。
• 真のクラスの予測確率を p_y として、勾配に exp(T p_y (1-p_y)) という指数重み w_IMAE(x) を掛けることで、MAEのロジットに対する勾配を掛け合わせてIMAEを導入する。
• IMAE の逆伝播勾配は MAE の勾配に w_IMAE/w_MAE を掛けたスケールと同じように拡大され、MAE の全体的な重み付けを保ちながら分散を増加させることを示す。
• T が勾配大きさの分散をどのように制御するかと、サンプル間の影響度比への影響を論じる。
• クリーンおよびノイズ付きラベルのシナリオに対して、CIFAR-10/100とClothing1Mで実証評価を行う。

実験結果

リサーチクエスチョン

• RQ1 MAEはすべての学習例を等しく扱うのか、またノイズ耐性は過適合の欠如とともに現れるのか。
• RQ2 損失関数の勾配大きさの分散は、意味のあるパターンの学習にどのように影響するか。
• RQ3 ノイズ耐性を損なうことなくMAEの適合能力を改善できるか。
• RQ4 提案手法のIMAEは、合成・実世界のノイズ付きラベルの下でタスク横断のロバストネスを改善するか。

主な発見

• MAEはCCEよりノイズ耐性が高いが、クリーンデータの点を過度に適合させず、むしろ不確実性の高い（中程度の確率の）例を強調する。
• 例ごとのMAE勾配大きさの分散は小さく、サンプル間の影響比が低く、意味のあるパターンの学習が弱くなる。
• IMAEは予測確率の指数関数を介してMAEの重み付けを非線形に変換し、勾配大きさの分散を高めつつMAEの全体的な重み付けを保持する。
• 調整されたTにより、IMAEはCIFAR-100およびClothing1Mデータセットにおいて、合成の対称/非対称ノイズおよび現実的な未知ノイズの下で最先端の性能を達成する。
• CIFAR-10では、IMAEは競争力のあるまたは優れたハイブリッド精度を示し、ノイズのあるサンプルへの依存を減らしつつ高い一般化を実現する。
• IMAEの複雑さは依然として単純で、MAEの勾配を w_IMAE でスケーリングするだけで済む。