[論文レビュー] Deep Self-Learning From Noisy Labels

Jiangfan Han, Ping Luo+1 more|arXiv (Cornell University)|Aug 6, 2019

Machine Learning and Data Classification参考文献 37被引用数 15

ひとこと要約

本論文では、ラベルノイズの分布に関する追加の仮定や外部の教師信号を必要とせずに、実際のノイズのあるデータセット上で畳み込みニューラルネットワークを学習する、自己学習におけるマルチプロトタイプ（SMP）という新しい反復的ディープ自己学習フレームワークを提案する。複数のクラスプロトタイプを用いてノイズのあるラベルを補正し、元のラベルと補正済みラベルの両方を同時に学習することで、Clothing1M や Food101-N といったベンチマークで最先端の性能を達成し、従来手法より最大1.16%の精度向上を実現した。

ABSTRACT

ConvNets achieve good results when training from clean data, but learning from noisy labels significantly degrades performances and remains challenging. Unlike previous works constrained by many conditions, making them infeasible to real noisy cases, this work presents a novel deep self-learning framework to train a robust network on the real noisy datasets without extra supervision. The proposed approach has several appealing benefits. (1) Different from most existing work, it does not rely on any assumption on the distribution of the noisy labels, making it robust to real noises. (2) It does not need extra clean supervision or accessorial network to help training. (3) A self-learning framework is proposed to train the network in an iterative end-to-end manner, which is effective and efficient. Extensive experiments in challenging benchmarks such as Clothing1M and Food101-N show that our approach outperforms its counterparts in all empirical settings.

研究の動機と目的

• 人為的誤りやウェブクローリング由来の要因により信頼性の低いラベルを持つ実世界のノイズのあるデータセット上で深層ネットワークを学習する課題に対処すること。
• 大規模応用において費用がかかり、現実的でない追加のクリーンな教師信号や補助ネットワークに依存しないようにすること。
• 特定のノイズ分布を仮定せずに、反復的にノイズのあるラベルを補正する自己学習フレームワークを開発すること。
• 1つのプロトタイプよりも複数のプロトタイプをクラスごとに用いることで、表現力とラベル補正の精度が向上するかどうかを検証すること。
• Clothing1M や Food101-N といった実際のノイズのあるベンチマークで、追加の教師信号なしに最先端の性能を達成すること。

提案手法

• フレームワークは、反復的でエンドツーエンドの方法で特徴抽出とラベル補正の両方を1つの共有ConvNetで行う。
• 各反復において、サンプルの特徴をクラスタリングによって選択された複数のクラスプロトタイプと比較することで、補正済みラベルが生成される。
• 各ノイズのあるクラスから代表的なサンプルを特定する新しいクラスタリング手法を用いて、クラスプロトタイプが選択される。
• 元のノイズのあるラベルと補正済みラベルの両方を用いて、重み付き損失（α=0.5）でモデルが共同で学習される。
• すべてのノイズのあるラベルを置き換えないことで、元のラベルに含まれる有用な情報が保持され、過学習を回避する。
• クラスタリング手法の選択にかかわらず一貫した性能を示すため、本手法はその選択に対して頑健である。

実験結果

リサーチクエスチョン

• RQ1 追加の教師信号なしに、自己学習フレームワークが実世界のデータセットにおけるノイズのあるラベルを効果的に補正できるか？
• RQ2 1つのプロトタイプよりも複数のプロトタイプをクラスごとに用いることで、ラベル補正とモデルの一般化性能が向上するか？
• RQ3 クラスプロトタイプを計算するために使用するサンプル数の変更に、フレームワークの性能がどれほど感度を示すか？
• RQ4 元のラベルと補正済みラベルの両方を共同で学習することで、ノイズのあるラベルを完全に置き換える手法を上回る性能が得られるか？
• RQ5 Clothing1M や Food101-N といった実際のノイズのあるベンチマークで、最先端の性能を達成できるか？

主な発見

• Clothing1M では、1クラスあたり128,000件のデータのうち2%（2,560件）のサンプルのみを用いてプロトタイプを計算した場合でも、74.45%のテスト精度を達成し、従来手法を上回った。
• 25,000件の追加の検証済みラベルを用いることで、76.44%の精度に到達し、優れた一般化性能とスケーラビリティを示した。
• クラスタリングアルゴリズムの選択にかかわらず、K-means++、密度ピーク、および提案手法の間で性能差が0.3%以内に収まり、安定性が確認された。
• 1つのプロトタイプを使用する手法（例：CleanNet）と比較して、1クラスあたり複数のプロトタイプを用いることで、ラベル補正とモデル精度が顕著に向上した。
• Food101-N では85.11%の精度を達成し、ソフトウェイティングを用いたCleanNet（83.95%）を1.16%上回った。
• 元のラベルと補正済みラベルの両方を用いた共同学習（α=0.5）が最良の性能を示し、元のラベルに有用なインダクティブバイアスが保持されていることが確認された。