[論文レビュー] Learning from Noisy Labels with Deep Neural Networks: A Survey

Hwanjun Song, Minseok Kim+3 more|arXiv (Cornell University)|Jul 16, 2020

Machine Learning and Data Classification被引用数 91

ひとこと要約

この調査は、ノイズ付きラベルで学習する深層ニューラルネットワークの堅牢な訓練手法をレビューし、62の手法を5つのグループに分類し、評価慣行とノイズ設定を分析します。

ABSTRACT

Deep learning has achieved remarkable success in numerous domains with help from large amounts of big data. However, the quality of data labels is a concern because of the lack of high-quality labels in many real-world scenarios. As noisy labels severely degrade the generalization performance of deep neural networks, learning from noisy labels (robust training) is becoming an important task in modern deep learning applications. In this survey, we first describe the problem of learning with label noise from a supervised learning perspective. Next, we provide a comprehensive review of 62 state-of-the-art robust training methods, all of which are categorized into five groups according to their methodological difference, followed by a systematic comparison of six properties used to evaluate their superiority. Subsequently, we perform an in-depth analysis of noise rate estimation and summarize the typically used evaluation methodology, including public noisy datasets and evaluation metrics. Finally, we present several promising research directions that can serve as a guideline for future studies. All the contents will be available at https://github.com/songhwanjun/Awesome-Noisy-Labels.

研究の動機と目的

• 深層学習におけるノイズ付きラベルからの学習の問題提起と、それが一般化へ与える影響。
• ラベルノイズに対処するDNNの堅牢な訓練手法の総合的な分類法を提供。
• アーキテクチャ、正則化、損失関数、損失調整、サンプル選択の観点から、理論的基礎と実践的アルゴリズムを要約。
• ノイズモデルと公開データセットを含む評価方法を評価し、堅牢性の測定について議論。
• ラベルノイズ下での堅牢な深層学習の今後の研究方向を示唆。

提案手法

• ロバストアーキテクチャ、ロバスト正則化、ロバスト損失関数、損失調整、サンプル選択の5グループに分類する。
• ノイズ適応層を用いてラベル遷移確率をモデル化し、複雑なノイズに対処する専用アーキテクチャなどのアーキテクチャ的適応を説明する。
• ビレベル学習、事前学習、mixup、データ拡張を含む明示的および暗黙的正則化技術を説明する。
• MAE、GCE、bi-tempered loss、symmetric cross entropy、curriculum loss、active loss/ passive loss などの堅牢な損失関数を要約し、ノイズ耐性を分析する。
• 推定されたノイズ遷移マトリクスを用いて損失を修正する損失調整法（backward/forward correction、gold loss correctionを含む）を詳述する。
• クリーンなラベルを識別し学習プロセスを調整するメタ学習アプローチを含む、サンプル選択戦略を議論する。
• 特定の損失が対称ノイズまたは非対称ノイズに対して頑健である条件と、それらが深層ネットワークとどのように関係するかという理論的結果を参照する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付きラベル下での深層ニューラルネットワークの堅牢な訓練技術の主要カテゴリは何か？
• RQ2 ノイズモデル（対称、非対称、インスタンス依存）は、堅牢手法の設計と有効性にどのように影響するか？
• RQ3 深層学習におけるラベルノイズに対して損失関数が頑健であるという理論的保証または条件は何か？
• RQ4 堅牢な手法は公開データセットおよび異なるノイズ regimeでどのように評価され、どの指標が用いられるか？
• RQ5 DNNにおけるノイズ付きラベル学習の将来の方向性とギャップは何か？

主な発見

• 本調査は、5つのグループに分類された62の最先端の堅牢訓練手法をレビューしている。
• ロバストアーキテクチャには、ノイズ適応層やラベル遷移確率をモデル化する専用アーキテクチャが含まれる。
• 明示的および暗黙的正則化技術は堅牢性を高め、ビレベル学習、事前学習、敵対的訓練、mixup、データ拡張などを含む。
• 堅牢な損失関数（例：MAE、GCE、SCE）と損失調整法（forward/backward correction、gold loss correction）は、ノイズ耐性を評価するために分析されている。
• 損失調整とサンプル選択は、メタ学習と組み合わせて、ノイズ付きラベルの影響を緩和する上で重要である。
• 本論文はノイズ率推定、評価方法論、公的ノイズ付きデータセット、評価指標を論じ、将来の研究方向性を強調している。