[論文レビュー] Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels

Lu Jiang, Di Huang+2 more|arXiv (Cornell University)|Nov 21, 2019

Machine Learning and Data Classification被引用数 123

ひとこと要約

この論文は、現実世界の（ウェブ）ラベルノイズの初のベンチマークを紹介し、合成ノイズと実世界ノイズの両方を扱う MentorMix を提案し、ノイズの種類・レベル・アーキテクチャ・訓練設定を横断して DNN がノイズ付きラベルでどのように学習するかを大規模に調査した知見を示します。

ABSTRACT

Performing controlled experiments on noisy data is essential in understanding deep learning across noise levels. Due to the lack of suitable datasets, previous research has only examined deep learning on controlled synthetic label noise, and real-world label noise has never been studied in a controlled setting. This paper makes three contributions. First, we establish the first benchmark of controlled real-world label noise from the web. This new benchmark enables us to study the web label noise in a controlled setting for the first time. The second contribution is a simple but effective method to overcome both synthetic and real noisy labels. We show that our method achieves the best result on our dataset as well as on two public benchmarks (CIFAR and WebVision). Third, we conduct the largest study by far into understanding deep neural networks trained on noisy labels across different noise levels, noise types, network architectures, and training settings. The data and code are released at the following link: http://www.lujiang.info/cnlw.html

研究の動機と目的

• ウェブ画像を複数のノイズレベルにわたって注釈付けすることで、ウェブ（現実世界）のラベルノイズの制御可能なベンチマークを開発する。
• クリーンラベルなしで、合成ノイズと実世界ノイズの両方に対応できる堅牢な学習手法（MentorMix）を提案・検証する。
• 公的な合成ノイズおよび実世界ノイズのベンチマークに対して、MentorMixを最先端のベースラインと比較して経験的に評価する。
• ノイズの種類、レベル、アーキテクチャ、および訓練設定を横断してノイズ付きラベルで訓練した場合のDNNの挙動を分析し、この分野の理解を洗練させる。

提案手法

• エンピリカル・ヴィシナル・リスク最小化に基づく堅牢な損失とカリキュラム学習を組み合わせた MentorMix を導入する。
• MentorNet によって各訓練例の最適な潜在重みを計算し、サンプルの加重混合（mixup）を導く。
• 実務的な重要度サンプリング方式を用いて、低損失の例に偏った混合ペアを選択する。
• サンプルごとの損失の移動平均パーセンタイルを利用して例の重みを調整し、訓練を安定化させる。
• MentorMix が、データセットや訓練設定を横断して、制御された赤色ノイズ（ウェブ）および青色ノイズ（合成）に対してベースラインより優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 制御されたウェブラベルノイズを構築し、複数のノイズレベルで制御された設定でDNNを研究することが可能か。
• RQ2 MentorMix アプローチは、クリーンラベルなしで合成および実世界ノイズ付きラベルに対して堅牢な性能を提供するか？
• RQ3 MentorMix は、合成および実世界ノイズ付きラベルの公的ベンチマークにおいて最先端の手法と比べてどの程度の性能を示すか？
• RQ4 ノイズ付きラベルで訓練した場合のDNNの挙動のより広いパターンは、ノイズタイプ、レベル、アーキテクチャ、訓練レジーム間でどのように現れるか？

主な発見

• ミニ-ImageNetとStanford Cars 全10ノイズレベルに対して手動注釈を行い、制御されたウェブラベルノイズ（赤ノイズ）の最初のベンチマークを確立した。
• MentorMix は、合成ノイズとウェブノイズの両方のベースラインを一貫して上回り、CIFARとWebVisionのベンチマークで最先端の結果を達成した。
• WebVision 1.0 では、MentorMix は事前のクリーンラベルなしで以前の手法より約3% top-1 精度を改善した。
• MentorMix は vanilla training および既存の堅牢手法に比べて顕著な改善を示し、複数のアーキテクチャにわたるノイズ設定で大きな利得を生んだ。
• 本研究は合成ノイズを用いたニューラルネットの以前の発見を確認し、ノイズ付きラベルでの学習に関する一般的な直感に挑戦する新しい観察を提供する。