[論文レビュー] Learning from Noisy Labels with Deep Neural Networks

Sainbayar Sukhbaatar, Rob Fergus|arXiv (Cornell University)|Jan 1, 2014

Machine Learning and Data Classification被引用数 12

ひとこと要約

本論文では、バックプロパゲーション中にラベルノイズをモデル化・補正するためのアダプティブノイズ層を導入することで、深層畳み込みネットワークのノイズに強い学習手法を提案する。エンドツーエンド学習の一部としてノイズパラメータを推定することで、誤ったラベルを含むデータセットにおいてモデルのロバスト性が著しく向上し、ImageNet やその他のベンチマークでも優れた性能を示す。

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

研究の動機と目的

• 大規模な実世界応用で一般的に見られる誤ったラベルやノイズを含むデータセット上で深層ニューラルネットワークを学習するという課題に対処すること。
• クリーンなラベルや複雑なデータフィルタリングを必要とせずに、学習中にラベルノイズを明示的にモデル化する手法を開発すること。
• ノイズのある教師信号にさらされた場合の、識別的に学習されたConvNetsの一般化性能と精度を向上させること。
• 既存の深層学習学習パイプラインに最小限のアーキテクチャ変更でノイズモデリングをスムーズに統合すること。

提案手法

• 真のラベルが与えられたもとでのノイズラベルの条件付き確率をモデル化する微分可能ノイズ層を導入すること。
• 勾配降下法を用いて、学習プロセスの中でノイズ遷移行列を推定すること。
• ノイズ層を考慮した交差エントロピー損失関数を修正し、エンドツーエンド最適化を可能にすること。
• 最終分類層の直後にノイズ層を適用することで、ネットワークが観測されたノイズラベル分布に予測を適応させられること。
• 標準的なバックプロパゲーションを用いてモデルを学習し、ノイズパラメータをネットワーク重みと同時に更新すること。
• 経験的ラベル分布を用いてノイズ層のパラメータを初期化することで、高速な収束を実現すること。

実験結果

リサーチクエスチョン

• RQ1 クリーンなラベルやデータクリーニングを必要とせずに、ノイズラベルを含むデータセット上で深層ニューラルネットワークを効果的に学習できるか？
• RQ2 学習中にラベルノイズを明示的にモデル化することで、一般化性能と精度にどのような影響を与えるか？
• RQ3 ノイズラベルのみを用いて、学習中にノイズ遷移行列を信頼性高く推定できるか？
• RQ4 提案手法は、ノイズラベルを含む大規模ベンチマーク（例：ImageNet）において性能を向上させることができるか？

主な発見

• 提案手法は、学習ラベルに顕著なノイズが混入している場合でも、ImageNet において顕著な精度向上を達成している。
• ノイズ層により、ラベルの不確実性を明示的にモデル化することで、ネットワークはよりロバストな表現を学習できるようになった。
• CIFAR-10 や CIFAR-100 など複数のデータセットにおいて、さまざまなノイズレベル下でも高い性能を維持している。
• ノイズパラメータが学習中に成功裏に推定されており、ラベルノイズのエンドツーエンド学習の可能性が裏付けられている。
• 既存の学習パイプラインへの修正が最小限で済むため、実世界の展開において実用的である。