[論文レビュー] Improving MAE against CCE under Label Noise.

Xinshao Wang, Elyor Kodirov+2 more|arXiv (Cornell University)|Mar 28, 2019

Machine Learning and Data Classification参考文献 26被引用数 11

ひとこと要約

本稿では、高ラベルノイズ下でのMAEのアンダーフィッティング行動を制御することで、ノイズに強い損失関数であるImproved Mean Absolute Error (IMAE)を提案する。IMAEは理論的ロバストネスを維持しつつ、画像分類および動画検索において、合成および実際のノイズラベル下でCCEおよび標準MAEを著しく上回る性能を発揮する。

ABSTRACT

Label noise is inherent in many deep learning tasks when the training set becomes large. A typical approach to tackle noisy labels is using robust loss functions. Categorical cross entropy (CCE) is a successful loss function in many applications. However, CCE is also notorious for fitting samples with corrupted labels easily. In contrast, mean absolute error (MAE) is noise-tolerant theoretically, but it generally works much worse than CCE in practice. In this work, we have three main points. First, to explain why MAE generally performs much worse than CCE, we introduce a new understanding of them fundamentally by exposing their intrinsic sample weighting schemes from the perspective of every sample's gradient magnitude with respect to logit vector. Consequently, we find that MAE's differentiation degree over training examples is too small so that informative ones cannot contribute enough against the non-informative during training. Therefore, MAE generally underfits training data when noise rate is high. Second, based on our finding, we propose an improved MAE (IMAE), which inherits MAE's good noise-robustness. Moreover, the differentiation degree over training data points is controllable so that IMAE addresses the underfitting problem of MAE. Third, the effectiveness of IMAE against CCE and MAE is evaluated empirically with extensive experiments, which focus on image classification under synthetic corrupted labels and video retrieval under real noisy labels.

研究の動機と目的

• 理論的にラベルノイズに対してロバストであるにもかかわらず、実際の応用でMAEがCCEに劣る理由を説明すること。
• 高ノイズ率下でのMAEのアンダーフィッティングの根本的原因が、トレーニングサンプル間での勾配大きさの差が不足していることに起因することを同定すること。
• MAEのノイズロバストネスを保ちつつ、情報量の多いサンプルからの寄与を強化できる新しい損失関数を設計すること。
• 合成および実世界のノイズラベル下で、画像分類および動画検索タスクにおいて、CCEおよびMAEベースラインと公平に比較し、提案手法の有効性を実証的に検証すること。

提案手法

• 各サンプルの損失に対するロジットベクトルに関する勾配大きさを分析することで、MAEおよびCCEの新たな理論的分析を提案する。
• トレーニング例全体にわたってMAEの勾配大きさの差が小さいことが判明し、これが高ノイズ下でのアンダーフィッティングを引き起こしている。
• 勾配大きさの差を制御できる学習可能なスケーリング機構を備えた、MAEを変更したIMAEを導入する。
• IMAEでは、情報量の多いサンプルの寄与をノイズの多いサンプルよりも強調する、サンプルごとの重み付け方式を採用する。
• 勾配大きさ分布の鋭さを制御する微分可能パラメータ（温度）を用い、勾配大きさの差を制御可能にする。
• 画像および動画ベンチマークでCCEおよびMAEのベースラインと公平に比較できるよう、標準的なトレーニングプロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 理論的にはノイズにロバストであるにもかかわらず、なぜMAEは高ノイズ環境下でトレーニングデータをアンダーフィットするのか？
• RQ2 MAEの勾配大きさ分布は、トレーニングサンプル全体でCCEとどのように異なり、モデル性能にどのような影響を与えるのか？
• RQ3 ノイズロバストネスを損なわずに、勾配大きさの差を高めることでMAEの性能を向上させることは可能か？
• RQ4 提案されたIMAE損失は、合成および実際のノイズラベル下でCCEおよび標準MAEと比較して、精度およびロバストネスの面でどのように差をつけるか？

主な発見

• MAEがCCEに劣る理由は、トレーニングサンプル間での勾配大きさの差が不足しているためであり、情報量の多いサンプルが過小評価されている。
• 提案されたIMAEは、合成ラベルノイズ下の画像分類タスクにおいて、標準MAEよりも顕著に高い精度を達成しており、特に高ノイズ率下で顕著である。
• 実世界のノイズラベルを含む動画検索ベンチマークにおいて、IMAEはCCEを上回り、実用的環境下での優れたロバストネスを示している。
• IMAEはMAEと同等の強いノイズロバストネスを維持しつつ、クリーンデータではCCEと同等またはそれを上回る性能を達成している。
• アブレーションスタディにより、勾配大きさの差を制御することが、ノイズラベル下でのMAEの一般化性能向上に不可欠であることが確認された。
• IMAEにおける温度制御スケーリングにより、ロバストネスと性能の間で効果的なトレードオフが実現可能であり、さまざまなノイズレベルに適応可能である。