[論文レビュー] Training Convolutional Networks with Noisy Labels

Sainbayar Sukhbaatar, Joan Bruna+3 more|arXiv (Cornell University)|Jun 9, 2014

Machine Learning and Data Classification参考文献 31被引用数 515

ひとこと要約

この論文では、ラベルの誤りと外れ値をモデル化することで、ラベルノイズに対してより頑健な畳み込みニューラルネットワークを実現するノイズ適応型レイヤーを提案する。ソフトマックスの上に制約付き線形ノイズレイヤーを追加することで、エンド・ツー・エンドの学習中にラベル分布のずれを補正するようモデルが学習され、合成データおよび実世界のノイズありデータセット（最大120万枚の外れ値画像を含むImageNetを含む）において顕著な精度向上を達成する。

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

研究の動機と目的

• ラベルが信頼できない実世界の設定において、ノイズのあるラベルで学習された標準的な畳み込みニューラルネットワークの頑健性を調査すること。
• Webからスクレイピングしたデータやクラウドソーシングによるデータセットなど、ラベルノイズが広がっている状況で深層ネットワークを学習する課題に対処すること。
• 清澄ラベルが不要な状態で、観察されたノイズラベル分布に合わせてネットワーク出力を適応させる、シンプルで学習可能なノイズレイヤーを提案すること。
• 本手法の有効性を、合成データおよび実世界のノイズありデータ（ImageNetに最大120万枚の外れ値画像を含む）に対して評価すること。

提案手法

• ソフトマックス層の上に、ラベルノイズをモデル化する制約付き線形ノイズレイヤーを導入し、バックプロパゲーションを用いたエンド・ツー・エンドの学習で最適化する。
• ラベルの誤りノイズに対しては、クラス間での誤標記確率をモデル化する学習可能なノイズ行列 Q を使用する。
• 外れ値ノイズに対しては、別個のノイズレイヤーを用いて、画像が外れ値である確率と、ランダムなラベルが割り当てられる確率をモデル化する。
• ノイズレイヤーのパラメータは、標準的な最適化手法を用いて学習中に推定され、既存のディープラーニングフレームワークへの修正が最小限に抑えられる。
• 外れ値の事前確率を制御するハイパーパrameter α を使用し、データからチューニングまたは推定することが可能である。
• 本手法はスケーラブルであり、最大120万枚の外れ値画像を含む大規模データセット（例：ImageNet）に対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 高水準のラベルノイズ、特にラベルの誤りと外れ値の下で、標準的な畳み込みニューラルネットワークの性能はどの程度劣化するか？
• RQ2 シンプルで微分可能なノイズレイヤーは、深層ネットワークにおけるラベルの誤りと外れ値ノイズの両方に対してモデルの頑健性を向上させることができるか？
• RQ3 真の外れ値率が不明な状況において、ハイパーパrameter α の選択に伴うモデル性能への感受性はどの程度か？
• RQ4 本手法は、Webスクリーピング画像やTiny Imagesなどの実世界のノイズありデータセットにおいて、測定可能な性能向上をもたらすか？

主な発見

• 120万枚の外れ値画像（60%がインリン）を含むImageNetにおいて、ノイズ適応型モデルは標準的な畳み込みニューラルネットワークと比較してトップ1誤差を1.5%削減した。
• 外れ値率が推定50%のTiny Imagesデータセットにおいて、ノイズ適応型モデルはテスト誤差を19.2%から18.8%に低下させ、相対的に2.1%の改善を達成した。
• 0.9M枚の画像と1,000クラスのImageNetを含む実世界のWeb画像データセットにおいて、ラベルの誤りノイズモデルはバリデーション誤差を48.8%から48.2%に低下させた。
• α を真の外れ値率から±15%変更してもモデル性能が著しく低下しなかったため、ハイパーパrameter選択に対して低感受性であることが示された。
• 高ノイズレベルの合成データにおいても顕著な性能向上を達成しており、制御された環境下での有効性が裏付けられた。
• 既存のディープラーニングフレームワークへの実装が容易であり、アーキテクチャの大規模な変更なしにImageNetのような大規模問題にスケーリング可能である。