[論文レビュー] Combating Label Noise in Deep Learning Using Abstention

Sunil Thulasidasan, Tanmoy Bhattacharya+3 more|arXiv (Cornell University)|May 27, 2019

Machine Learning and Data Classification参考文献 4被引用数 77

ひとこと要約

本論文は、訓練時および推論時に混乱しがちなサンプルを回避する深層 abstaining クラス分類器（DAC）を導入し、構造化ノイズと非構造化ノイズを含むラベルノイズに対して頑健に対処する。自動調整された回避機能とデータクリーニング機能を備える。

ABSTRACT

We introduce a novel method to combat label noise when training deep neural networks for classification. We propose a loss function that permits abstention during training thereby allowing the DNN to abstain on confusing samples while continuing to learn and improve classification performance on the non-abstained samples. We show how such a deep abstaining classifier (DAC) can be used for robust learning in the presence of different types of label noise. In the case of structured or systematic label noise -- where noisy training labels or confusing examples are correlated with underlying features of the data-- training with abstention enables representation learning for features that are associated with unreliable labels. In the case of unstructured (arbitrary) label noise, abstention during training enables the DAC to be used as an effective data cleaner by identifying samples that are likely to have label noise. We provide analytical results on the loss function behavior that enable dynamic adaption of abstention rates based on learning progress during training. We demonstrate the utility of the deep abstaining classifier for various image classification tasks under different types of label noise; in the case of arbitrary label noise, we show significant improvements over previously published results on multiple image benchmarks. Source code is available at https://github.com/thulas/dac-label-noise

研究の動機と目的

• ラベルノイズが深層学習による分類性能に与える影響を動機づけて対処する。
• 訓練時に棄却を可能にしつつ、棄却されないサンプルの学習を損なわない損失関数を提案する。
• 棄却が構造化ノイズ下で頑健な学習を助け、非構造化ノイズ下では効果的なデータクリーナーとして機能することを示す。
• 画像ベンチマーク全体での適用可能性を示し、棄却挙動と表現に関する洞察を提供する。

提案手法

• 追加出力が棄却をモデル化する k+1 出力 DAC を導入する。
• 標準のクラス確率と棄却項および調整可能な棄却ペナルティ α を組み合わせた修正交差エントロピー損失を定義する。
• 棄却下でも真のクラスでの学習が保持されること（勾配の挙動）を証明する。
• 訓練中に α を自動調整するスキームを提供し、棄却と学習の進捗をバランスさせる。
• 信頼性の低いラベルに対応する特徴マッピングを学習するよう DAC を有効化し、構造化ノイズ学習を実証し、適切に棄却する。
• 再学習前におそらくノイズの多いサンプルを特定して削除することで、DAC を用いた非構造化ノイズデータクリーニングを実証する。

実験結果

リサーチクエスチョン

• RQ1 訓練時の棄却は、ラベルが体系的にノイズを含む場合に DNN が頑健な表現を学習するのに役立つか。
• RQ2 DAC は信頼性の低いラベルを含むサンプルを識別し、訓練中に棄却できるか。
• RQ3 均一なラベルノイズの下で、棄却学習が下流学習のための効果的なデータクリーニング手順となるか。
• RQ4 棄却機構は DNN の学習ダイナミクスと記憶化にどのような影響を与えるか。

主な発見

• 構造化ノイズと非構造化ノイズの両方の状況で、ラベルノイズがある中でも頑健な学習を可能にする DAC。
• DAC は信頼性の低いラベルを示す特徴を学習し、そのようなサンプルに対して高い適合率と再現率で棄却できる。
• DAC を用いてノイズの多いサンプルをフィルタリングし下流モデルを再学習させると、ベースラインや他のノイズ耐性手法よりも精度が顕著に向上する。
• DAC の棄却挙動は訓練とともに進化し、学習が進むにつれて棄却が減少し、解釈可能な特徴結びつき（例：汚れのようなアーティファクト）を明らかにすることがある。
• データクリーニング実験では、DAC によるノイズサンプルの剪定とクリーンなデータセットでの再訓練は、最先端のノイズ処理法を上回ることが多い。