[論文レビュー] Deep Learning from Noisy Image Labels with Quality Embedding

Jiangchao Yao, Jiajie Wang+5 more|arXiv (Cornell University)|Nov 2, 2017

Machine Learning and Data Classification参考文献 34被引用数 4

ひとこと要約

本論文は、画像分類におけるノイズを軽減するために、ラベルの信頼性を明示的にモデル化する品質埋め込みモデルを提案する。潜在ラベルから予測ラベルへの遷移を制御するための品質変数を導入することで、ノイズラベルからの誤差逆伝播を低減する対照的加法的ノイズ（CAN）ネットワークは、WebImage や AMT のようなノイズを含む画像データセットにおいて、最先端の性能を達成した。

ABSTRACT

There is an emerging trend to leverage noisy image datasets in many visual recognition tasks. However, the label noise among the datasets severely degenerates the \mbox{performance of deep} learning approaches. Recently, one mainstream is to introduce the latent label to handle label noise, which has shown promising improvement in the network designs. Nevertheless, the mismatch between latent labels and noisy labels still affects the predictions in such methods. To address this issue, we propose a quality embedding model, which explicitly introduces a quality variable to represent the trustworthiness of noisy labels. Our key idea is to identify the mismatch between the latent and noisy labels by embedding the quality variables into different subspaces, which effectively minimizes the noise effect. At the same time, the high-quality labels is still able to be applied for training. To instantiate the model, we further propose a Contrastive-Additive Noise network (CAN), which consists of two important layers: (1) the contrastive layer estimates the quality variable in the embedding space to reduce noise effect; and (2) the additive layer aggregates the prior predictions and noisy labels as the posterior to train the classifier. Moreover, to tackle the optimization difficulty, we deduce an SGD algorithm with the reparameterization tricks, which makes our method scalable to big data. We conduct the experimental evaluation of the proposed method over a range of noisy image datasets. Comprehensive results have demonstrated CAN outperforms the state-of-the-art deep learning approaches.

研究の動機と目的

• 大規模データセットにおけるノイズラベルがディープラーニング性能を低下させることの是正。
• 従来の方法がノイズを暗黙的にモデル化するか、潜在ラベルとノイズラベルの間を線形遷移に依存するという限界の克服。
• 品質埋め込み変数を用いて、ノイズラベルの信頼性を明示的にモデル化すること。
• ノイズラベルを伴うエンドツーエンド学習のためのスケーラブルな最適化手法の設計。
• 実世界のノイズを含む画像ベンチマークにおいて、一般化性能と耐性の向上を実証すること。

提案手法

• ノイズラベルの信頼性を表す品質変数を導入し、ラベル遷移を制御するための別個の部分空間に埋め込む。
• 対照的層（品質埋め込みを推定）と加法層（事前予測とノイズラベルを統合して事後学習を実行）の2つの主要層を持つ、対照的加法的ノイズ（CAN）ネットワークを設計。
• 再パラメータ化テクニックを用いて、効率的なSGD最適化アルゴリズムを導出し、大規模データセットへのスケーラビリティを実現。
• 潜在ラベルと品質変数を、KLダイバージェンス正則化を伴う変分ベイズ推論でモデル化し、安定した学習を実現。
• 品質埋め込みのK-means二値化を用いて、信頼できる・そうでないラベルに分類し、分析に活用。
• ノイズラベルが潜在ラベルと品質変数の両方に条件付きで依存するように、グラフィカルモデルフレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 品質埋め込み変数を用いてラベルの信頼性を明示的にモデル化することで、ディープラーニングにおけるラベルノイズの影響を低減できるか？
• RQ2 品質埋め込み機構は、潜在ラベルとノイズラベルの整合性をどのように向上させるか？
• RQ3 CANネットワークは、実世界のノイズを含む画像データセットにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 信頼できる・そうでない品質埋め込みに条件づけた遷移を分析した際に、どのようなラベル不正規化のパターンが浮き彫りになるか？
• RQ5 提案手法は、アノテーション誤りやドメイン固有の誤分類といった多様なノイズパターンに一般化可能か？

主な発見

• CANモデルは、WebImage および AMT データセットにおいて、既存のノイズ耐性のあるディープラーニング手法を上回る最先端の性能を達成した。
• 品質埋め込み機構は、信頼できないラベルを的確に特定・分離し、逆伝播への影響を低減した。
• ヒートマップ分析から、信頼できる埋め込みでは、潜在ラベルからノイズラベルへの遷移が対角線に集中しており、信頼性の高いラベリングを示している。一方、信頼できない埋め込みでは、実世界のノイズパターンを反映した広がりのある遷移が観察された。
• モデルは誤ったラベルの是正を効果的に行い、視覚的に類似した犬種（例：ノーサル・テリアとノーリッチ・テリア）を区別することができた。
• 遷移パターンの分析から、『pottedplant』のようなクラスは誤分類されにくく、一方『tv』のようなクラスは注目領域の曖昧さにより誤分類されやすいことが明らかになった。
• 再パラメータ化されたSGD最適化により、大規模なノイズを含むデータセットでも効率的な学習が可能となり、本手法のスケーラビリティが裏付けられた。