[論文レビュー] Label Noise Types and Their Effects on Deep Learning

Görkem Algan, İlkay Ulusoy|arXiv (Cornell University)|Mar 23, 2020

Machine Learning and Data Classification参考文献 40被引用数 40

ひとこと要約

この論文は、均一で、クラス依存的で、局所的に集中した、特徴依存的なラベルノイズが深層学習にどのように影響するかを分析し、蒸留を用いてスパースな特徴空間表現を生成する汎用の特徴依存ノイズジェネレータを提案します。

ABSTRACT

The recent success of deep learning is mostly due to the availability of big datasets with clean annotations. However, gathering a cleanly annotated dataset is not always feasible due to practical challenges. As a result, label noise is a common problem in datasets, and numerous methods to train deep neural networks in the presence of noisy labels are proposed in the literature. These methods commonly use benchmark datasets with synthetic label noise on the training set. However, there are multiple types of label noise, and each of them has its own characteristic impact on learning. Since each work generates a different kind of label noise, it is problematic to test and compare those algorithms in the literature fairly. In this work, we provide a detailed analysis of the effects of different kinds of label noise on learning. Moreover, we propose a generic framework to generate feature-dependent label noise, which we show to be the most challenging case for learning. Our proposed method aims to emphasize similarities among data instances by sparsely distributing them in the feature domain. By this approach, samples that are more likely to be mislabeled are detected from their softmax probabilities, and their labels are flipped to the corresponding class. The proposed method can be applied to any clean dataset to synthesize feature-dependent noisy labels. For the ease of other researchers to test their algorithms with noisy labels, we share corrupted labels for the most commonly used benchmark datasets. Our code and generated noisy synthetic labels are available online.

研究の動機と目的

• さまざまなラベルノイズタイプを動機づけ、分類し、それらが学習に及ぼす異なる影響を整理する。
• 蒸留に基づく汎用的な特徴依存ラベルノイズ生成フレームワークを提供する。
• 各ノイズタイプがベンチマーク全体でのトレーニング、検証、テストの性能に与える影響を評価する。
• ノイズ耐性手法の公正な評価を支援するため、共通データセット向けの事前生成ノイズ付きラベルを共有する。

提案手法

• 3つの主なノイズカテゴリ（均一、クラス依存、特徴依存）を調査し、正式化する。
• 知識蒸留に触発された特徴依存ノイズ生成手法を提案し、スパースな特徴空間表現を作成する。
• ソフトマックス確率に基づいて不確かなサンプルのラベルを識別し反転させるため、教師-生徒蒸留設定を使用する。
• クラス固有の特徴表現の分散を用いてスパース性を定量化し、標準的なトレーニングと比較する。
• MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100データセット向けの事前生成ノイズ付きラベルを提供する。

実験結果

リサーチクエスチョン

• RQ1 異なるラベルノイズタイプが学習ダイナミクスと一般化に及ぼす特徴的な影響は何か？
• RQ2 汎用的なフレームワークは、標準的なトレーニングにとって挑戦となる現実的な特徴依存ラベルノイズを生成できるか？
• RQ3 訓練、検証、およびテストの性能において、特徴依存ノイズは、均一ノイズおよびクラス依存ノイズとどのように比較されるか？
• RQ4 既存のノイズ耐性アルゴリズムは異なるノイズタイプ間でパフォーマンスが変動するか、どのタイプが最も問題となるか？

主な発見

• 均一ノイズとクラス依存ノイズは予測可能な方法でテスト性能を低下させるが、特徴依存ノイズは学習/検証性能が同等でもテスト精度をより低下させる可能性がある。
• 特徴依存ノイズはトレーニングおよび検証精度を維持する傾向がありつつ、テスト精度を大きく低下させ、ノイズ付きラベルへの過学習の評価を難しくする。
• 局所的に集中したノイズは、CIFAR-100のようなより複雑なデータセットで特に重大な悪影響を及ぼし、決定境界の正しい学習を遅らせる。
• データセットサイズの増加は一部のノイズタイプの影響を緩和するが、特徴依存ノイズは依然として非常に難しい。
• ノイズ耐性メソッド（例：Co-teaching）はタイプ依存の有効性を示し、全てのノイズタイプで卓越した方法は存在しない。