[論文レビュー] A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels

Yifan Ding, Liqiang Wang+2 more|arXiv (Cornell University)|Feb 8, 2018

Machine Learning and Data Classification参考文献 46被引用数 10

ひとこと要約

本論文は、ノイズの多いラベルから深層ニューラルネットワークをトレーニングするための2段階の半教師付きフレームワークを提案する。最初の段階では、信頼度の高いラベルのサブセットのみが保持され、2番目の段階では半教師付き学習の手法を用いてモデルが訓練される。本手法は、誤りを引き起こしやすいラベル補正を避けて、曖昧なラベルを無視することでモデルの誤った誘導を防ぎ、特にノイズ率が高い状況でも最先端の性能を達成する。

ABSTRACT

The recent success of deep neural networks is powered in part by large-scale well-labeled training data. However, it is a daunting task to laboriously annotate an ImageNet-like dateset. On the contrary, it is fairly convenient, fast, and cheap to collect training images from the Web along with their noisy labels. This signifies the need of alternative approaches to training deep neural networks using such noisy labels. Existing methods tackling this problem either try to identify and correct the wrong labels or reweigh the data terms in the loss function according to the inferred noisy rates. Both strategies inevitably incur errors for some of the data points. In this paper, we contend that it is actually better to ignore the labels of some of the data points than to keep them if the labels are incorrect, especially when the noisy rate is high. After all, the wrong labels could mislead a neural network to a bad local optimum. We suggest a two-stage framework for the learning from noisy labels. In the first stage, we identify a small portion of images from the noisy training set of which the labels are correct with a high probability. The noisy labels of the other images are ignored. In the second stage, we train a deep neural network in a semi-supervised manner. This framework effectively takes advantage of the whole training set and yet only a portion of its labels that are most likely correct. Experiments on three datasets verify the effectiveness of our approach especially when the noisy rate is high.

研究の動機と目的

• 大規模なトレーニングデータに高品質だがノイズの多いラベルが含まれる状況下で、深層ニューラルネットワークをトレーニングする課題に対処すること。
• しばしば誤りを引き起こすラベル補正を避けることで、誤ったラベルによるモデルの誤った誘導を低減すること。
• 信頼性の高いラベルのみを効果的に選択することで、ノイズ率の高い環境下でも一般化性能と精度を向上させること。
• ノイズ率やクリーンデータの事前知識がなくても、効果的に動作するフレームワークを開発すること。

提案手法

• 最初の段階では、自己改善手法により各クラス内のデータポイントを信頼度順にランク付けし、上位の例えんのみがラベルと共に保持される。
• クリーンデータが利用可能な場合、各クラスごとにクリーンラベルとノイズラベルを区別するバイナリ分類器を訓練して選択に用いる。
• クリーンデータが利用できない場合、全ノイズラベルセット上でマルチクラスのニューラルネットワークを訓練し、ラベル選択のための信頼度スコアを生成する。
• 2番目の段階では、全データセットに対して時間的アンサンブルを用いた半教師付き学習により、深層ニューラルネットワークを訓練し、選択された高信頼度ラベルのみを用いる。
• トレーニングではバランスの取れたサンプリング戦略を採用し、ミニバッチごとに等量のラベル付きおよびラベルなしサンプルを保証する。
• 本手法はノイズに対して頑健であり、ラベル遷移行列やノイズ率の推定を必要としない。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いデータセットで曖昧なラベルを無視することで、それらを補正しようとするのと比べて、モデルの性能が向上するのだろうか？
• RQ2 信頼度の高いラベルを限定的に使用する2段階アプローチは、エンドツーエンドのラベル補正手法と比べてどのように異なるのか？
• RQ3 信頼できるラベルがわずかにしか存在しない状況でも、半教師付き学習が大規模なノイズの多いデータセットを効果的に活用できるのだろうか？
• RQ4 特にノイズ率が高い状況下でも、本手法は既存の最先端手法を上回る性能を発揮するのだろうか？

主な発見

• 100万件のノイズラベルと5万件のクリーン画像を含むClothing1Mデータセットにおいて、クリーンセットでファインチューニングした結果、本手法は79.38%の精度を達成し、フォワードラベル遷移手法（69.84%）を上回った。
• 事前学習済みImageNetモデルから初期化した場合、本手法は80.53%の精度を達成し、報告済みの最高性能（80.38%）を上回った。
• Clothing1Mにおいて、疑似ラベル法（73.04%）、ボトムアップトレーニング（76.22%）、ラベルノイズモデリング（78.24%）を著しく上回った。
• ノイズ率が高い状況下でも優れた性能を示し、ラベル補正を避けることで誤りの蓄積が抑えられることを確認した。
• クリーンセットでのファインチューニングにより性能がさらに向上したため、人為的アノテーションの必要性と、効果的なノイズラベル学習の価値が裏付けられた。