[論文レビュー] Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise

Dan Hendrycks, Mantas Mazeika+2 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning被引用数 312

ひとこと要約

この論文は、Gold Loss Correction (GLC) を紹介します。信頼できる小規模な集合を用いてラベルノイズの腐敗行列を推定し、それに基づいて損失を補正することで、厳しいラベルノイズの下でも深層ネットワークを頑健に訓練するデータ効率の高い方法です。

ABSTRACT

The growing importance of massive datasets used for deep learning makes robustness to label noise a critical property for classifiers to have. Sources of label noise include automatic labeling, non-expert labeling, and label corruption by data poisoning adversaries. Numerous previous works assume that no source of labels can be trusted. We relax this assumption and assume that a small subset of the training data is trusted. This enables substantial label corruption robustness performance gains. In addition, particularly severe label noise can be combated by using a set of trusted data with clean labels. We utilize trusted data by proposing a loss correction technique that utilizes trusted examples in a data-efficient manner to mitigate the effects of label noise on deep neural network classifiers. Across vision and natural language processing tasks, we experiment with various label noises at several strengths, and show that our method significantly outperforms existing methods.

研究の動機と目的

• 自動ラベリング、非専門家によるラベリング、データ汚染によって訓練ラベルが大幅に破綻している場合の頑健な学習を動機づける。
• 少量の信頼データセットを活用してラベルノイズを緩和する損失補正フレームワークを提案する。
• GLC が既存手法と比較して、視覚・自然言語処理タスク全般で顕著な頑健性の向上をもたらすことを示す。

提案手法

• C_{ij}=P(tilde{y}=j | y=i) を表す腐敗マトリクス C を定義する。
• 信頼できないデータから C を推定するために、ノイズ付きラベル分類器 p(tilde{y}|x) を訓練し、真の各クラス i に対して信頼できる例上の予測を平均して推定する。
• モデル出力に C^T を適用してノイズ付きラベルで最適化することで補正済みの分類器を訓練し、必要に応じて信頼できる例を補正対象から外す。
• Gold Loss Correction (GLC) は C の推定と補正済み損失の組み合わせを提案し、P(y|x) の回復を図る。
• GLC を Forward、Distillation、Confusion-Matrix のベースラインと比較し、データセットとノイズタイプを跨いで誤差曲線下の領域を改善することを示す。
• 信頼度の異なる比率でのデータ効率と、合成ノイズと弱ラベルノイズの両方の設定を用いて検証する。

実験結果

リサーチクエスチョン

• RQ1 厳しいラベルノイズの下で、少量の信頼されたラベルセットをどのように活用して頑健に学習できるか。
• RQ2 trusted データから推定したラベルノイズマトリクスが、既存の損失補正手法と比べて真のラベル分布の回復を改善するか。
• RQ3 視覚と自然言語処理タスクにおいて、さまざまな破損タイプと強度の下で提案手法のデータ効率はどれくらいか。
• RQ4 forward-loss 補正や蒸留ベースラインにおいて、信頼データの利用がどのような影響を与えるか。
• RQ5 GLC はインスタンス依存のノイズに対応でき、金ラベルが限られている状況でも最先端の手法を上回れるか。

主な発見

• GLC は、均一、フリップ、階層的腐敗の下で MNIST、CIFAR (10/100)、IMDB、SST、Twitter POS、その他の NLP タスクにおいて、ベースラインより一貫して頑健性が高く、誤差が小さくなる。
• 信頼データを介して腐敗マトリクスを推定することは、混同行列やフォワード法よりも正確な C を提供し、中〜高度なノイズレベルで特に強力な性能をもたらす。
• GLC はデータ効率を維持し、非常に小さな信頼フラクション（例: 1-5％）でも顕著な利得を得られ、信頼データが不足している場合には蒸留よりも上回ることがある。
• clothing1M において、GLC は蒸留よりも優れており、特に信頼例が少ない場合にデータ効率が有利であることを実証。
• 弱い分類器によるラベル実験では、ノイズ付きラベルが弱いモデルに起因する場合でも、GLC が最良の誤差率低減を達成することが多く、さまざまなノイズ源に対する頑健性を強調する。
• 総じて、GLC はラベルノイズ下での学習において最先端かつデータ効率の高いアプローチを提供し、金標準セットを小規模でも活用して大きな利得を得られる。