[論文レビュー] Symmetric Cross Entropy for Robust Learning with Noisy Labels

Yisen Wang, Xingjun Ma+4 more|arXiv (Cornell University)|Aug 16, 2019

Machine Learning and Data Classification参考文献 7被引用数 129

ひとこと要約

対称クロスエントロピー（SCE）を、Cross Entropy (CE)とReverse Cross Entropy (RCE)を組み合わせることで、ノイズ付きラベル下でDNNを頑健に学習させ、難しいクラスの過学習不足とノイズへの過適合を解決する。

ABSTRACT

Training accurate deep neural networks (DNNs) in the presence of noisy labels is an important and challenging task. Though a number of approaches have been proposed for learning with noisy labels, many open issues remain. In this paper, we show that DNN learning with Cross Entropy (CE) exhibits overfitting to noisy labels on some classes ("easy" classes), but more surprisingly, it also suffers from significant under learning on some other classes ("hard" classes). Intuitively, CE requires an extra term to facilitate learning of hard classes, and more importantly, this term should be noise tolerant, so as to avoid overfitting to noisy labels. Inspired by the symmetric KL-divergence, we propose the approach of extbf{Symmetric cross entropy Learning} (SL), boosting CE symmetrically with a noise robust counterpart Reverse Cross Entropy (RCE). Our proposed SL approach simultaneously addresses both the under learning and overfitting problem of CE in the presence of noisy labels. We provide a theoretical analysis of SL and also empirically show, on a range of benchmark and real-world datasets, that SL outperforms state-of-the-art methods. We also show that SL can be easily incorporated into existing methods in order to further enhance their performance.

研究の動機と目的

• 標準のCross Entropy (CE) がノイズ付きラベルで過適合し、難しいクラスの学習不足になる理由を調査する。
• ラベルノイズに強く、難しいクラスの学習を促進するロスを開発する。
• 提案された対称的学習フレームワークを理論的に分析し、その有効性を経験的に検証する。
• SCEを既存の手法と統合することで、複雑なアーキテクチャ変更を加えずロバスト性を向上させることを示す。

提案手法

• Symmetric Cross Entropy (SCE)を CE に対する Reverse Cross Entropy (RCE) を加えることで定義する。
• SL lossを重み付きの組み合わせとして定式化する: ell_sl = alpha * ell_ce + beta * ell_rce.
• q(k|x)が0のときRCEの log項を安定化させるためにクリップ/ log-0置換(A)を使用する。
• 対称/一様ノイズ下および特定の非対称/クラス依存ノイズ条件下でRCEがノイズ耐性を持つことを証明する。
• 勾配分析を提供し、RCEが難しいクラスの学習を加速し、容易なクラスの過学習を抑制する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 CEはノイズ付きラベルに対してクラス別の学習ダイナミクスの観点でどう振る舞うか。
• RQ2 CEとノイズ耐性のある損失の対称的組み合わせは、難しいクラスの学習とノイズへの頑健さの両方を改善できるか。
• RQ3 多クラス設定における提案されたRCE項の理論的保証（ノイズ耐性）は何か。
• RQ4 SLは benchmarks 全体で最先端のノイズ付きラベル手法と比較してどのように比較されるか。
• RQ5 SLを既存の手法に組み込んでさらなる性能向上を実現できるか。

主な発見

• SLはノイズ付きラベル下での難しいクラスのクラス別学習をCEおよびLSRと比較して改善する。
• RCEは対称/一様ノイズおよび特定の非対称ノイズ条件下で理論的にノイズ耐性を持つ。
• SLはMNIST、CIFAR-10、CIFAR-100のさまざまなノイズ率で複数のベースライン（Forward、Bootstrap、GCE、D2L、LSR、CE）より高い精度を達成。
• Aとalpha/betaパラメータはロバスト性と収束を制御する；SLは他の手法にRCE項を組み込むことで拡張可能。
• アブレーション研究は、CEとRCEを組み合わせた方が、いずれか一方の項を単独でスケーリングするよりも効果的であることを示す。