[論文レビュー] Curriculum Loss: Robust Learning and Generalization against Label Corruption

Yueming Lyu, Ivor W. Tsang|arXiv (Cornell University)|May 24, 2019

Machine Learning and Data Classification参考文献 29被引用数 83

ひとこと要約

0-1損失の厳密な上界としてカリキュラム損失（CL）を提案し、トレーニングデータのサンプルを適応的に選択してラベルノイズに対する頑健性を向上させます。より高いノイズ率に対応するノイズ・プルーニング・カリキュラム損失（NPCL）へ拡張し、ミニバッチ訓練をサポートします。

ABSTRACT

Deep neural networks (DNNs) have great expressive power, which can even memorize samples with wrong labels. It is vitally important to reiterate robustness and generalization in DNNs against label corruption. To this end, this paper studies the 0-1 loss, which has a monotonic relationship with an empirical adversary (reweighted) risk~\citep{hu2016does}. Although the 0-1 loss has some robust properties, it is difficult to optimize. To efficiently optimize the 0-1 loss while keeping its robust properties, we propose a very simple and efficient loss, i.e. curriculum loss (CL). Our CL is a tighter upper bound of the 0-1 loss compared with conventional summation based surrogate losses. Moreover, CL can adaptively select samples for model training. As a result, our loss can be deemed as a novel perspective of curriculum sample selection strategy, which bridges a connection between curriculum learning and robust learning. Experimental results on benchmark datasets validate the robustness of the proposed loss.

研究の動機と目的

• ラベルの汚染とノイズ付きラベルの下で深層ネットの頑健性と一般化を促進する。
• 最適化の効率を維持しつつ、0-1損失のより厳密な上界を導入する。
• 訓練のための適応カリキュラムベースのサンプル選択メカニズムを開発する。
• 高ノイズ率に対処するためにCLをノイズ・プルーニングで拡張する。
• ミニバッチ更新を持つ深層モデルのプラグイン損失関数を実用的に提供する。

提案手法

• base loss l(u) を用いて 0-1損失のより厳密な上界としてカリキュラム損失（CL）を定義する。l(u) ≥ 1(u<0)。
• CL の上界 J(u) ≤ Q(u) ≤ ŴJ(u) を示し、二値セレクタ v の部分的最適化を通じて適応的なサンプル選択を可能にする。
• ミニバッチ対応の最適サンプル集合を計算する O(n log n) アルゴリズム（アルゴリズム1）を提供する。
• ノイズ率 ε の事前情報とトレーニング中におそらくノイズの多いサンプルを除去するプルーニング機構（式 (18)）を組み込むことにより、ノイズ・プルーニング・カリキュラム損失（NPCL）を導入する。
• 効率的なミニバッチ訓練のためのバッチベース版（шL）を提示する（式 20–21）。
• サンプル選択を標準的な深層学習ワークフローに組み込む訓練手順（アルゴリズム2）を説明する。

実験結果

リサーチクエスチョン

• RQ1 0-1損失の厳密な上界は、ラベル汚染に対する頑健性を最適化の効率を損なうことなく改善できるか。
• RQ2 適応的カリキュラム風のサンプル選択は、既存の頑健な損失を超えるノイズ付きラベル下での一般化を改善するか。
• RQ3 NPCL はさまざまなノイズ率とデータセットで、ベースラインの頑健な損失と比較してどの程度性能を発揮するか。
• RQ4 提案損失は一般的な深層学習フレームワークでミニバッチ更新付きのプラグインとして実装できるか。
• RQ5 CL/NPCL に組み込まれたサンプル選択アルゴリズムの計算特性（複雑さ、収束）はどうなるか。

主な発見

• CL は従来の代理損失よりも0-1損失に対して厳密な上界を提供し、頑健な学習を可能にする。
• オーバーオールを伴うミニバッチサポートを前提としたサンプルを適応的に選択する簡易な O(n log n) アルゴリズム（アルゴリズム1）を提供できる。
• NPCL はεの事前情報とカリキュラム枠組みを用いて、より高いノイズ率でおそらくノイズの多いサンプルをプルーニングすることで頑健性を向上させる。
• 実証的な結果は NPCL がしばしば Generalized Cross-Entropy (GCE) を上回り、Co-teaching 法と同等以上の性能を、特にノイズが強い設定で達成することを示している。
• このアプローチは深層モデルに対するプラグイン損失として機能し、バッチ更新でも計算効率を保つ。
• MNIST、CIFAR-10/100、Tiny-ImageNet の各実験は、対称および対ペアのラベル汚染シナリオの下で頑健性を示す。