[論文レビュー] Asymmetric Loss Functions for Learning with Noisy Labels

Xiong Zhou, Xianming Liu+3 more|arXiv (Cornell University)|Jun 6, 2021

Machine Learning and Data Classification被引用数 12

ひとこと要約

本稿では、ノイズのあるラベルを用いたディープラーニングのための非対称損失関数を提案し、クリーンラベル優位性仮定を活用して、ベイズ最適予測が0-1損失と一致するようにしている。本手法は、ロバストネスを測る非対称比を導入し、非対称性が高いほどノイズ耐性が向上することを示しており、さまざまなノイズ設定下でベンチマークデータセットにおいて最先端手法を上回っている。

ABSTRACT

Robust loss functions are essential for training deep neural networks with better generalization power in the presence of noisy labels. Symmetric loss functions are confirmed to be robust to label noise. However, the symmetric condition is overly restrictive. In this work, we propose a new class of loss functions, namely extit{asymmetric loss functions}, which are robust to learning with noisy labels for various types of noise. We investigate general theoretical properties of asymmetric loss functions, including classification calibration, excess risk bound, and noise tolerance. Meanwhile, we introduce the asymmetry ratio to measure the asymmetry of a loss function. The empirical results show that a higher ratio would provide better noise tolerance. Moreover, we modify several commonly-used loss functions and establish the necessary and sufficient conditions for them to be asymmetric. Experimental results on benchmark datasets demonstrate that asymmetric loss functions can outperform state-of-the-art methods. The code is available at \href{https://github.com/hitcszx/ALFs}{https://github.com/hitcszx/ALFs}

研究の動機と目的

• 対称損失関数の制限を解決すること。対称損失関数は過剰に制限的であり、ノイズラベル設定下でモデルの適合不足を引き起こす。
• 対称性条件を緩和することで、さまざまな種類のラベルノイズに対して本質的にロバストな損失関数の新規クラスを開発すること。
• 非対称損失関数のキャリブレーション、過剰リスクバウンド、ノイズ耐性について理論的分析を行うこと。
• 損失関数のロバストネスを測定・最適化できる定量的非対称比を導入すること。
• 一般的な損失関数（例：CE, GCE）の修正版が、必要十分条件を満たすことで非対称化可能であることを示すこと

提案手法

• 真のラベルが誤標籤されたラベルを上回るというクリーンラベル優位性仮定に基づき、非対称損失関数を提案する。
• リスク最小化を重み付き和として定式化し、最も重みの高い項が最適化方向を支配するように導出する。
• 非対称比を導入し、損失関数が正しくラベルを優先する程度を測る。非対称比が高いほど、ノイズ耐性が向上する。
• 一般的な損失関数（例：クロスエントロピー、一般化クロスエントロピー）が非対称化可能であるための必要十分条件を確立する。
• 最適化特性を保持したまま、既存の損失関数（例：NCE, AGCE, AEL）に非対称性を導入する。
• 対称および非対称ラベルノイズを含むMNIST、CIFAR-10、CIFAR-100における実験的検証により、性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 非対称損失関数は、ノイズラベルを伴うディープラーニングにおいて、対称損失関数よりも優れたノイズ耐性を達成できるか？
• RQ2 損失関数の非対称比は、異なるノイズ率下でのロバストネスとどのように関連しているか？
• RQ3 CE や GCE といった標準損失関数を非対称化するための必要十分条件は何か？
• RQ4 提案された非対称損失関数は分類キャリブレーションを維持し、有界な過剰リスクを持つのか？
• RQ5 非対称損失関数は、対称および非対称ラベルノイズの両方において、多様なベンチマークデータセットで最先端手法を上回るか？

主な発見

• 非対称損失関数は分類キャリブレーションを満たし、厳密に非対称な場合に過剰リスクバウンドを持つ。理論的整合性が保証される。
• 非対称比はノイズ耐性と正の相関関係にあり、非対称比が高いほど、ノイズラベル下でもより良好な一般化性能を示す。
• MNIST において 40% の非対称ラベルノイズ下で、AUL と AGCE はそれぞれ 98.62% および 98.44% のテスト精度を達成し、CE（82.27%）と SCE（85.36%）を上回った。
• CIFAR-10 において 40% の非対称ノイズ下で、NCE+AEL は 77.27% の精度を達成し、CE（74.67%）と AGCE（60.91%）を著しく上回った。
• CIFAR-100 において 40% の非対称ノイズ下で、NCE+AGCE は 43.76% の精度を達成し、CE（40.17%）と SCE（36.43%）を上回った。
• 提案された非対称損失関数は、すべてのデータセットおよびノイズ率において、常に最先端手法を上回っており、特に高ノイズ条件下で顕著な優位性を示した。