[論文レビュー] Learning Deep Networks from Noisy Labels with Dropout Regularization

Ishan Jindal, Matthew Nokleby+1 more|arXiv (Cornell University)|May 9, 2017

Machine Learning and Data Classification参考文献 12被引用数 19

ひとこと要約

本論文では、ノイズのあるラベルを含むデータセット上で深層ニューラルネットワークを訓練するための手法を提案する。ノイズモデル化ソフトマックス層をネットワークに追加し、ノイズモデルの重みに対して積極的なドロップアウト正則化を適用することで、分類器と楽観的で過大評価されたノイズモデルを同時に学習する。CIFAR-10およびMNISTにおいて、ノイズ統計が事前に分かっているジェイン・アシストモデルを上回る最先端の性能を達成している。

ABSTRACT

Large datasets often have unreliable labels-such as those obtained from Amazon's Mechanical Turk or social media platforms-and classifiers trained on mislabeled datasets often exhibit poor performance. We present a simple, effective technique for accounting for label noise when training deep neural networks. We augment a standard deep network with a softmax layer that models the label noise statistics. Then, we train the deep network and noise model jointly via end-to-end stochastic gradient descent on the (perhaps mislabeled) dataset. The augmented model is overdetermined, so in order to encourage the learning of a non-trivial noise model, we apply dropout regularization to the weights of the noise model during training. Numerical experiments on noisy versions of the CIFAR-10 and MNIST datasets show that the proposed dropout technique outperforms state-of-the-art methods.

研究の動機と目的

• Amazon Mechanical Turkなどのソースから得られる信頼性の低い誤標識データを含む大規模データセット上で、深層ニューラルネットワークを訓練する課題に対処すること。
• ラベルがランダムまたは非一様なラベル反転によって汚染されている状況でも、モデルの一般化性能を向上させること。
• ノイズ統計の事前知識が不要な状態で、深層ネットワークと強力なラベルノイズモデルを同時に学習する手法を開発すること。
• ノイズモデルが過学習しないようにし、ラベル反転の非自明で楽観的な表現を学習するように促すこと。

提案手法

• 列確率行列 Ψ を用いてペアワイズラベル反転確率をモデル化するソフトマックス層を標準的な深層ネットワークに追加する。
• ノイズのあるデータセット上で、エンドツーエンドの確率的勾配降下法を用いて、深層ネットワークとノイズモデルを同時に訓練する。
• ノイズモデルのソフトマックス層の重みに対して、特に積極的なドロップアウト正則化を適用し、過学習を防ぎ、楽観的で過大評価されたノイズモデルの学習を促進する。
• 学習されたノイズモデルを用いて、バックプロpagation中に訓練ラベルをノイズ除去する。これにより、ラベル汚染を効果的に是正する。
• 訓練後はノイズモデルを分離し、テストデータに対する推論には深層ネットワークのみを用いる。
• この手法は計算的に効率的で、完全に並列化可能であり、既存のディープラーニングフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト正則化を施した共同訓練されたノイズモデルは、既存の手法を上回ってノイズラベルからの学習を可能にするか？
• RQ2 楽観的で過大評価されたノイズモデルは、ラベルノイズが存在する状況での一般化性能を向上させるか？
• RQ3 本手法は、ラベルノイズ統計が正確に分かっているモデル（すなわちジェイン・アシストモデル）を上回るか？
• RQ4 特に非一様なノイズ分布下で、高ノイズレベルにおいて本手法はどのように性能を発揮するか？
• RQ5 なぜモデルがラベル反転確率を過大評価するよう学習するのか？その影響は特徴量クラスタリングおよび分類精度にどのようなものか？

主な発見

• 70%の均一なラベルノイズがかかるMNISTデータセットにおいて、本手法は2.83%の分類誤差を達成した。これは[10]のブートストラップ法が同じノイズレベルで45%の誤差を記録したのと比較して顕著に優れている。
• MNISTにおける70%の非均一なノイズでは、本手法は43.03%の誤差を記録した。これはベースモデルの53.55%の誤差と、50%ノイズ下で45%の誤差を記録したブートストラップ法よりも顕著に優れている。
• CIFAR-10において70%の均一なノイズがかかる状況では、本手法は24.6%の誤差を達成した。これはベースモデル（48.80%）および真のノイズモデル（48.80%）よりも顕著に優れている。
• 学習されたノイズモデルは一貫してラベル反転確率を過大評価しており、これは自然なクラスタリングを促進する楽観的で過大評価されたバイアスを示している。
• 一部の状況では、ノイズ統計が正確に分かっているジェイン・アシストモデルでさえ、特に高ノイズレベル下で本手法が上回る。
• 本手法は計算的に効率的で、完全に並列化可能であり、標準的なディープラーニングライブラリを用いて簡単に実装可能である。