[論文レビュー] Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels

Zhilu Zhang, Mert R. Sabuncu|PubMed|May 20, 2018

Machine Learning and Data Classification参考文献 36被引用数 1,474

ひとこと要約

本論文は一般化損失 L_q および切り捨て版 L_q,trunc を提案し、クロスエントロピーと MAE の間を補間してノイズのあるラベルに対して頑健に深層ネットワークを学習させる。閉集合ノイズおよび開集合ノイズの下で CIFAR-10/100 および Fashion-MNIST で強力な経験的利得を示す。

ABSTRACT

Deep neural networks (DNNs) have achieved tremendous success in a variety of applications across many disciplines. Yet, their superior performance comes with the expensive cost of requiring correctly annotated large-scale datasets. Moreover, due to DNNs' rich capacity, errors in training labels can hamper performance. To combat this problem, mean absolute error (MAE) has recently been proposed as a noise-robust alternative to the commonly-used categorical cross entropy (CCE) loss. However, as we show in this paper, MAE can perform poorly with DNNs and challenging datasets. Here, we present a theoretically grounded set of noise-robust loss functions that can be seen as a generalization of MAE and CCE. Proposed loss functions can be readily applied with any existing DNN architecture and algorithm, while yielding good performance in a wide range of noisy label scenarios. We report results from experiments conducted with CIFAR-10, CIFAR-100 and FASHION-MNIST datasets and synthetically generated noisy labels.

研究の動機と目的

• 大規模 DNN におけるラベルがノイズである場合の頑健な学習を動機づける。
• CCE と MAE を一般化する理論的に根拠のあるノイズ耐性損失の族を導入する。
• 頑健性と学習ダイナミクスを説明するために勾配挙動を分析する。
• 標準的な DNN アーキテクチャと互換性のある効率的な訓練手法を提供する。
• さまざまなノイズ設定の下で CIFAR-10、CIFAR-100、Fashion-MNIST における経験的利得を示す。

提案手法

• 一般化損失 L_q(f(x), e_j) = (1 - f_j(x)^q)/q を定義する。ここで q ∈ (0,1]、これによりクロスエントロピー（q→0）と MAE/ unhinged loss（q=1）を補間する。
• L_q の勾配がサンプルを f_yi(xi;θ)^q で重みづけすることを示し、頑健性と学習ダイナミクスの間の調整可能なバランスを提供する。
• 低信頼度予測の損失を閾値 k で上限化する切り捨て版 L_q_trunc を提案し、ノイズ耐性の境界を引き締める。
• クラス別損失の総和に関する境界を導出し、均一ノイズおよびクラス依存ノイズの下での頑健性を議論する。
• network parameters と剪定指標ベクトル w の交互反復によって切り捨てられた L_q を最適化する ACS（alternating convex search）手法を提示する。
• 収束とノイズ耐性のバランスをとるための実践的考慮事項として、q の選択（経験的には約 0.7）と k の設定（実験では 0.5）を論じる。

実験結果

リサーチクエスチョン

• RQ1 一般化損失族 L_q は、DNN の学習可能性を保ちつつノイズ付きラベルに対して頑健さを提供できるか。
• RQ2 標準ベンチマークにおいて、L_q と L_q_trunc は closed-set ノイズおよび open-set ノイズの下で CCE および MAE とどう比較されるか。
• RQ3 閾値 k とパラメータ q が頑健性と最適化ダイナミクスのバランスにおいて果たす役割は何か。
• RQ4 提案手法は追加機構なしで既存のアーキテクチャや最適化パイプラインと統合可能か。
• RQ5 難易度の異なるデータセット（CIFAR-10/100、Fashion-MNIST）およびノイズタイプで利得は持続するか。

主な発見

• L_q 損失は、均一ノイズおよびクラス依存ノイズの下で CIFAR-10、CIFAR-100、Fashion-MNIST に対して CCE および MAE と比較してラベルノイズに対する頑健性を向上させる。
• 切り捨て L_q 損失は、曖昧なサンプルを除外して性能をさらに向上させ、いくつかの設定で非切り捨てバリアントより利得をもたらす。
• 経験的には、0.7 前後の q が収束速度とノイズ頑健性の良いトレードオフを提供する；困難なデータセットでは MAE は性能が低い。
• 開集合ノイズ（混同行列ラベルに外部データセットを使用）では、L_q、特に切り捨て L_q が最先端の代替手法と同等かそれ以上の精度を達成する。
• このアプローチは実装が簡単で標準的なトレーニング・パイプラインと互換性があり、クリーンデータの監視や大幅なアルゴリズム変更を必要としない。