[論文レビュー] Robust Loss Functions under Label Noise for Deep Neural Networks

Aritra Ghosh, Himanshu Kumar+1 more|arXiv (Cornell University)|Dec 27, 2017

Machine Learning and Data Classification参考文献 8被引用数 151

ひとこと要約

本論は多クラス設定における損失関数がノイズ耐性を持つための十分条件を導出し、深層ネットワークにおけるラベルノイズに対してMAE（平均絶対誤差）が本質的に頑健であることを理論結果と実証で示す。

ABSTRACT

In many applications of classifier learning, training data suffers from label noise. Deep networks are learned using huge training data where the problem of noisy labels is particularly relevant. The current techniques proposed for learning deep networks under label noise focus on modifying the network architecture and on algorithms for estimating true labels from noisy labels. An alternate approach would be to look for loss functions that are inherently noise-tolerant. For binary classification there exist theoretical results on loss functions that are robust to label noise. In this paper, we provide some sufficient conditions on a loss function so that risk minimization under that loss function would be inherently tolerant to label noise for multiclass classification problems. These results generalize the existing results on noise-tolerant loss functions for binary classification. We study some of the widely used loss functions in deep networks and show that the loss function based on mean absolute value of error is inherently robust to label noise. Thus standard back propagation is enough to learn the true classifier even under label noise. Through experiments, we illustrate the robustness of risk minimization with such loss functions for learning neural networks.

研究の動機と目的

• 多クラス分類において損失関数がラベルノイズに対して頑健である解析的条件を提供する。
• バイナリノイズ耐性の結果を多クラス設定へ一般化する。
• ノイズ耐性を満たす一般に用いられる損失関数を特定し、MAEを強調する。
• 深層ネットワークにおけるこれらの損失関数の頑健性を実証的に示す。

提案手法

• L-riskとノイズモデルを定義する（対称/一様、単純な非一様、クラス条件付き）。
• 損失がノイズ耐性を持つための十分条件を確立する（対称性条件と関連境界）。
• 対称ノイズ、単純な非一様ノイズ、およびクラス条件付きノイズに対する頑健性の結果を証明する（定理1–3）。
• MAEが対称性条件を満たし、従ってラベルノイズに頑健であることを示す。
• さまざまなノイズレジーム下で画像およびテキストデータセット上でMAE、MSE、CCEを実験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 多クラス分類において損失関数がラベルノイズに対して頑健になる条件は何か？
• RQ2 これらの条件を満たす一般的な損失関数はどれで、ノイズ下での性能はどうか？
• RQ3 MAEはアーキテクチャや推定手順を変更せずに深層ネットワークに本質的な頑健性を提供できるか？
• RQ4 データセットとノイズタイプを横断して、MAEの経験的頑 robustさはCCEとMSEとどう比較されるか？

主な発見

• MAEは提案された対称性条件を満たし、多クラス設定の対称ラベルノイズ下でノイズ耐性を持つ。
• 対称損失はノイズ率が eta < (k-1)/k を満たす場合、均一ノイズに対して頑健である。
• 単純な非一様ノイズの場合、ノイズなしリスクがゼロであれば損失は頑健であり、そうでなければノイズ付きリスクの境界が導出される。
• クラス条件付きノイズでは、ノイズ行列が対角支配的で、損失が所定の範囲内にある場合に頑健性が成り立つ。
• 実証的結果は、MNIST、RCV1、CIFAR-10、IMDB、その他のデータセットにおいて、対称およびクラス条件付きラベルノイズ下でMAEがCCEよりもしばしば高いテスト精度を保持することを示す。
• MSEは有界性により中間的な頑健性を提供するが、重度のラベルノイズ下ではMAEより頑健性が劣る。