[論文レビュー] Normalized Loss Functions for Deep Learning with Noisy Labels

Xingjun Ma, Hanxun Huang+4 more|arXiv (Cornell University)|Jun 24, 2020

Machine Learning and Data Classification被引用数 125

ひとこと要約

本研究は、任意の損失を正規化によりノイズ付きラベルに対して頑健にできることを示し、過剰適合を解決する Active Passive Loss (APL) を導入して、厳しいラベルノイズ下でベンチマークにおける最先端性能を示す。

ABSTRACT

Robust loss functions are essential for training accurate deep neural networks (DNNs) in the presence of noisy (incorrect) labels. It has been shown that the commonly used Cross Entropy (CE) loss is not robust to noisy labels. Whilst new loss functions have been designed, they are only partially robust. In this paper, we theoretically show by applying a simple normalization that: any loss can be made robust to noisy labels. However, in practice, simply being robust is not sufficient for a loss function to train accurate DNNs. By investigating several robust loss functions, we find that they suffer from a problem of underfitting. To address this, we propose a framework to build robust loss functions called Active Passive Loss (APL). APL combines two robust loss functions that mutually boost each other. Experiments on benchmark datasets demonstrate that the family of new loss functions created by our APL framework can consistently outperform state-of-the-art methods by large margins, especially under large noise rates such as 60% or 80% incorrect labels.

研究の動機と目的

• ノイズ付きラベルによる頑健な学習を動機づけ、既存の頑健な損失を比較する。
• 任意の損失をラベルノイズに対して頑健にする正規化手法を提案する。
• 頑健な損失におけるアンダーフィットを特定し、Active Passive Loss (APL) フレームワークを設計する。
• 高ノイズ率下でベンチマークデータセットに対してAPLの頑健性と学習向上を実証的に示す。

提案手法

• L_norm = L(f(x), y) / sum_j L(f(x), j) による損失の正規化を行い、ラベルノイズに対する頑健性を実現する。
• アクティブ損失とパッシブ損失を定義・比較する。アクティブは p(y|x) を最大化し、パッシブは他クラスの確率も最小化する。
• Active Passive Loss (APL) を L_APL = alpha * L_Active + beta * L_Passive として提案し、特定の条件下で頑健性が保たれることを証明する。
• 既存の頑健な損失（例：CE、MAE、RCE、NCE、NFL）をアクティブまたはパッシブとして分類し、APL がそれらを組み合わせてアンダーフィットに対処する方法を示す。
• 正規化された損失で対称ノイズおよび非対称ノイズに対するノイズ耐性を示す理論補助定理を提供する。
• MNIST、CIFAR-10/100、WebVision を対象に実証的研究を実施し、APLを最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 正規化は多クラス分類において任意の損失をノイズ付きラベルに対して頑健にできるか。
• RQ2 なぜ一部の頑健な損失がアンダーフィットするのか、そして結合したアクティブ-パッシブフレームワークが頑健性と学習の両方を改善できるか。
• RQ3 Active Passive Loss (APL) フレームワークは高いノイズ率下で最先端の頑健性と学習効率を達成するか。
• RQ4 単純なデータセットと複雑なデータセットで、アクティブ項とパッシブ項のバランスはどう設定すべきか。
• RQ5 既存の損失の正規化バリアントは頑健性を維持しつつ効果的な学習を実現するか。

主な発見

• 正規化された損失は、指定されたノイズ率条件の下で対称ノイズおよび非対称ノイズに対して頑健である。
• 単純な正規化は頑健性を維持するが、アンダーフィットのため高精度には頑健性だけでは不足する。
• アクティブ損失とパッシブ損失を組み合わせたAPLは頑健性と学習効率の向上を生み出し、高いノイズ（60–80%）で最先端手法を上回る。
• 正規化された損失のスケーリングは一貫してアンダーフィットを解決しない。適切なアクティブ-パッシブのバランスが重要である。
• CIFAR-10/100およびMNISTでは、APLの変種（例：NCE+RCE、NFL+RCE）は、ノイズ設定全般においてGCE、NLNL、SCEと比べて競争力のあるまたは優れた性能を達成する。