[論文レビュー] Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks

Arash Vahdat|arXiv (Cornell University)|May 31, 2017

Infrastructure Maintenance and Monitoring被引用数 119

ひとこと要約

ノイズの多いラベルから深い識別ネットワークを訓練するために、潜在変数と補助分布を用いて清澄ラベルとノイズラベルの関係をモデル化する半教師付きCNN-CRFフレームワークを提案し、CIFAR-10およびMS COCOを含む画像ラベリングタスクでの頑健性を実現。

ABSTRACT

Collecting large training datasets, annotated with high-quality labels, is costly and time-consuming. This paper proposes a novel framework for training deep convolutional neural networks from noisy labeled datasets that can be obtained cheaply. The problem is formulated using an undirected graphical model that represents the relationship between noisy and clean labels, trained in a semi-supervised setting. In our formulation, the inference over latent clean labels is tractable and is regularized during training using auxiliary sources of information. The proposed model is applied to the image labeling problem and is shown to be effective in labeling unseen images as well as reducing label noise in training on CIFAR-10 and MS COCO datasets.

研究の動機と目的

• 深層CNNを、安価に収集されるノイズ付きラベルの課題に対処する。
• クリーンラベルとノイズラベルを潜在変数で結ぶCRF構造を導入する。
• 補助情報を利用して学習を正則化する半教師付き目的関数を提供する。
• 標準的な画像データセット（CIFAR-10とMS COCO）で頑健性とラベリング性能の向上を示す。

提案手法

• 入力xに条件付けてクリーンラベルとノイズラベルを関連付けるCRF内の潜在変数としてクリーンラベルをモデル化する。
• 推論を現実的に保つため、ラベル間の相関を捉える隠れビ binary 変数hを導入する。
• CNNからのバイアスとyとŷの間のペアワイド相互作用による二次エネルギー関数を定義し、WとW'（CRF-CNN）で正則化する。
• 完全にラベル付きのクリーンデータとノイズ付きデータを組み合わせた半教師付き学習目的を確立し、持続型対照的発散法（EM様）で最適化する。
• 補助分布p_auxを組み込んで潜在推論を正規化し、q(ŷ,h|y,x)をp_auxへと誘導する。これはハイパーパラメータαで制御される。
• αを時間とともにp_auxへの依存度からp_θへの依存度へ移行させる交互のEステップ（qの更新）とMステップ（θの更新）でエンドツーエンドに訓練する。
• クリーンデータで訓練された補助モデルとして制約付きボルツマン機械（RBM）を導入し、CNN-CRF訓練中はパラメータを固定する。

実験結果

リサーチクエスチョン

• RQ1 ノイズとクリーンラベルの関係をCNN-CRFフレームワークでモデル化することで、深層ネットワークのラベルノイズに対する頑健性を向上させられるか？
• RQ2 補助情報をどのように取り入れて半教師付き訓練における潜在クリーンラベル推論を正則化できるか？
• RQ3 提案手法はノイズ付きラベルを持つデータセットで、ベースラインと比較して画像ラベリング性能を改善するか？
• RQ4 マルチクラス分類とマルチラベル分類の両方、および異なるネットワークアーキテクチャ（例：VGG-16, ResNet-50）での性能はどうなるか？

主な発見

• CNN-CRFモデルは潜在変数を用いて清潔ラベルとノイズラベルの関係を明示的にモデル化することで、ラベルノイズに対する頑健性を提供する。
• p_auxによる補助分布の組み込みとαのスケジューリングは潜在変数推論と訓練の安定性を向上させる。
• Microsoft COCOデータセットのノイズ付きラベルとCOCO Flickr-タグ設定で、いくつかのベースラインよりもラベリング性能を向上させる。
• 本手法はマルチクラスとマルチラベルの両方に適応可能で、既存ネットワークの頑健な損失層として組み込むことができる。
• VGG-16またはResNet-50アーキテクチャを用いても、ノイズ付きラベルでのベースライン訓練と比較して評価設定全体で効果を示す。