[論文レビュー] DivideMix: Learning with Noisy Labels as Semi-supervised Learning

Junnan Li, Richard Socher+1 more|arXiv (Cornell University)|Feb 18, 2020

Machine Learning and Data Classification参考文献 44被引用数 499

ひとこと要約

DivideMix はノイズ付きラベルによる学習を、各サンプルの損失を Gaussian Mixture Model でモデル化してデータを per-sample で分割する半教師付き問題として扱い、ラベル refinement と co-guessing を二つの diverged networks にまたがって行うことで半教師付き学習を強化する。

ABSTRACT

Deep neural networks are known to be annotation-hungry. Numerous efforts have been devoted to reducing the annotation cost when learning with deep networks. Two prominent directions include learning with noisy labels and semi-supervised learning by exploiting unlabeled data. In this work, we propose DivideMix, a novel framework for learning with noisy labels by leveraging semi-supervised learning techniques. In particular, DivideMix models the per-sample loss distribution with a mixture model to dynamically divide the training data into a labeled set with clean samples and an unlabeled set with noisy samples, and trains the model on both the labeled and unlabeled data in a semi-supervised manner. To avoid confirmation bias, we simultaneously train two diverged networks where each network uses the dataset division from the other network. During the semi-supervised training phase, we improve the MixMatch strategy by performing label co-refinement and label co-guessing on labeled and unlabeled samples, respectively. Experiments on multiple benchmark datasets demonstrate substantial improvements over state-of-the-art methods. Code is available at https://github.com/LiJunnan1992/DivideMix .

研究の動機と目的

• ノイズのあるラベルを使用した深層ネットワークのトレーニングの課題に対処しつつ、アノテーションコストを削減する。
• 半教師付き学習を通じてラベルなし/ノイズデータを活用し、一般化を向上させる。
• トレーニング中にクリーンなサンプルとノイズのサンプルを区別する堅牢なメカニズムを開発する。
• 二つの diverged networks が互いに教え合うことで confirmation bias を緩和する。
• ノイズ付きラベルに適したラベル refinement と co-guessing を通じて SSL を向上させる。

提案手法

• 各サンプルの損失を Gaussian Mixture Model でモデリングして、各サンプルのクリーン/ノイズ確率を推定する。
• co-divide を用いる: 二つのネットワークが交互にデータを labeled (clean) と unlabeled (noisy) の集合に分割し、もう一方のネットワークに提供する。
• 非対称ノイズでの学習を安定化させるために confidence penalty でウォームアップする。
• ラベルのco-refinement を用いた強化版 MixMatch SSL フレームワークを適用（予測分布を用いてラベル付きサンプルのラベルを再精緻化）し、co-guessing（ unlabeled データのアンサンブル予測）を行う。
• データ拡張と MixUp ベースのラベル付きとラベルなしサンプルの混合を行い、クラス間の一様な事前分布を強制する正則化項を加える。
• 単一の損失関数で SGD によりネットワークを更新する：ラベル付きデータに対する supervised、ラベルなしデータに対する unsupervised、そして正則化項。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるラベルデータを、タスクを半教師付き学習として再定義することで効果的に活用できるか？
• RQ2 co-training を用いて two divergent networks が confirmation bias を低減し、ラベルノイズへ頑健性を向上させるか？
• RQ3 per-sample loss modeling と MixMatch を、非対称かつ高ノイズのレジームに適用できるか？
• RQ4 ラベル refinement と co-guessing がノイズ付きラベルの半教師付き学習性能に与える影響は？
• RQ5 DivideMix はベースライン手法と比較して、既存の LNL および SSL 手法をベンチマーク全体でどの程度上回るか？

主な発見

• DivideMix は対称・非対称ノイズを含む CIFAR-10/100 の最先端手法に対して顕著な改善を達成。
• CIFAR-10 で 40% の非対称ノイズの場合、DivideMix は競合手法よりも優れたトップ性能を発揮。
• DivideMix は Clothing1M および WebVision のベンチマークでも一貫してベースラインを上回る。
• アブレーション研究により、co-divide、ラベル refinement、co-guessing が性能向上に寄与し、二つの diverged networks が confirmation bias を回避するのに役立つことが示された。
• 推論時の二つのネットワークのアンサンブル予測は、単一モデルよりも良い結果をもたらす。