[論文レビュー] Deep Learning is Robust to Massive Label Noise

David Rolnick, Andreas Veit+2 more|arXiv (Cornell University)|May 30, 2017

Machine Learning and Data Classification参考文献 27被引用数 408

ひとこと要約

本論文は、標準的な深層ネットワークが、データ量が十分に大きく、適切な訓練設定が与えられれば、訓練ラベルが大幅に汚染されていても一般化性能を高く保てることを示している。

ABSTRACT

Deep neural networks trained on large supervised datasets have led to impressive results in image classification and other tasks. However, well-annotated datasets can be time-consuming and expensive to collect, lending increased interest to larger but noisy datasets that are more easily obtained. In this paper, we show that deep neural networks are capable of generalizing from training data for which true labels are massively outnumbered by incorrect labels. We demonstrate remarkably high test performance after training on corrupted data from MNIST, CIFAR, and ImageNet. For example, on MNIST we obtain test accuracy above 90 percent even after each clean training example has been diluted with 100 randomly-labeled examples. Such behavior holds across multiple patterns of label noise, even when erroneous labels are biased towards confusing classes. We show that training in this regime requires a significant but manageable increase in dataset size that is related to the factor by which correct labels have been diluted. Finally, we provide an analysis of our results that shows how increasing noise decreases the effective batch size.

研究の動機と目的

• ノイズ付きアノテーションを伴う実用的なデータ取得を評価するため、極端なラベルノイズ下での深層学習の研究を動機づける。
• 複数のデータセットとアーキテクチャにわたって、ラベルノイズの増加に伴いテスト性能が低下する（または維持される）程度を定量化する。
• データセットサイズ、バッチサイズ、学習率がノイズ下で学習を維持する様子を相互作用として理解する。
• ラベルノイズの起源と構造を特徴づけ、それらが学習ダイナミクスに与える影響を明らかにする。
• クリーンなラベルが乏しいまたは高価な場合の訓練パイプライン設計に関する洞察を提供する。

提案手法

• MNIST、CIFAR-10、ImageNet 全体で高度にノイズのある訓練セットを作成するために、クリーンラベルあたりαのノイズ付きラベルを体系的に追加する。
• ノイズ耐性を比較するために、さまざまなアーキテクチャ（MLP、ConvNet、ResNet）を評価する。
• 3つのノイズパターンをモデル化する：一様ラベルノイズ、構造化ノイズ、語彙外/他ソースからのノイズ。
• 経験的実験と理論的ノイズ付き損失式（Hα）を用いて、ノイズ下での学習におけるバッチサイズと学習率の影響を分析する。
• 異なるノイズ源（同一データセット、別データセット、ホワイトノイズ）が頑健性に及ぼす影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズが正ラベルを大幅に上回る場合、深層ネットワークはどれだけ一般化できるか。
• RQ2 巨大なラベルノイズ下で高精度を達成するために必要なデータセットサイズ、バッチサイズ、学習率の設定はどれか。
• RQ3 異なるノイズ構造（均一、構造化）はノイズ付きラベルでの学習にどのように影響するか。
• RQ4 ノイズ源（同一ドメイン内 vs ドメイン外 vs ランダム）が頑健性に与える影響は何か。
• RQ5 高ノイズ下で観察される頑健性を理論的なノイズ損失の観点で説明できるか。

主な発見

• 深層ネットワークは、正ラベルがノイズラベルより最大で 100 倍も多い場合でも、深層ネットワークは高いテスト性能を維持し（90% を超える精度）。
• CIFAR-10 では、1つのクリーンラベルにつき10のノイズラベルで、ネットワークは 85% を超える精度を達成；ImageNet では、クリーンラベル1つにつき5つのノイズラベルでもトップ-5精度が70% を超える。
• 大規模なネットワーク（ConvNets、ResNets）は、より小さなアーキテクチャよりラベルノイズに対して頑健である傾向がある。
• 十分に大きな訓練データセットは高ノイズを補う。必要なクリーンデータの量はノイズレベルとほぼ線形に増加する（わずかに超線形）。
• バッチサイズを増やすとノイズ付きラベルからの信号喪失の影響を緩和し、ノイズが増えるにつれて学習率を縮小すべきである。