[論文レビュー] Auxiliary Image Regularization for Deep CNNs with Noisy Labels

Samaneh Azadi, Jiashi Feng+2 more|arXiv (Cornell University)|Nov 22, 2015

Advanced Neural Network Applications参考文献 20被引用数 22

ひとこと要約

本稿では、ラベルノイズに対してモデルのロバスト性を向上させるために、情報量が多くてクリーンな訓練画像を自動的に選択する補助例としての役割を果たす、深層畳み込みニューラルネットワーク（CNN）向けの新しいグループスパース正則化子である補助画像正則化（AIR）を提案する。確率的ADMMを用いて、特徴応答に構造的スパarsityを強制することで、ノイズの多いサンプルを抑制し、合成および現実世界のラベルノイズを含むベンチマークデータセットにおける分類精度を向上させる。

ABSTRACT

Precisely-labeled data sets with sufficient amount of samples are very important for training deep convolutional neural networks (CNNs). However, many of the available real-world data sets contain erroneously labeled samples and those errors substantially hinder the learning of very accurate CNN models. In this work, we consider the problem of training a deep CNN model for image classification with mislabeled training samples - an issue that is common in real image data sets with tags supplied by amateur users. To solve this problem, we propose an auxiliary image regularization technique, optimized by the stochastic Alternating Direction Method of Multipliers (ADMM) algorithm, that automatically exploits the mutual context information among training images and encourages the model to select reliable images to robustify the learning process. Comprehensive experiments on benchmark data sets clearly demonstrate our proposed regularized CNN model is resistant to label noise in training data.

研究の動機と目的

• ユーザーが提供するラベルにノイズが混入した画像データセット上で深層CNNを学習する際の性能低下という課題に対処すること。
• 信頼性の高い訓練画像を自動的に同定し、補助例として活用する正則化子を開発すること。
• データの多様体構造を活用することで、ラベルノイズが存在する状況でも正確な表現を学習できるようにすること。
• ラベルの誤り分布に関する事前知識を必要としないスケーラブルで適応可能な正則化子を設計すること。

提案手法

• モデルパラメータではなく、深層CNN特徴の応答マップにグループスパース正則化を適用する補助画像正則化子（AIR）を提案する。
• 重複するグループノルムを用いて、情報量の多い画像表現の選択を促進するとともに、ノイズや誤ラベルのサンプルを抑制する。
• スケーラビリティを確保するため、確率的ADMMを用いて正則化された目的関数を最適化する。
• 別々のデータセットで事前学習された深層特徴を用いて、正則化のためのデータ多様体構造を定義する。
• CNNの最終層に正則化を課すことで、モデルが関連性がありクリーンな補助画像のみに重みを割り当てる分類器を学習できるようにする。
• 正則化項におけるグループのサンプリングを採用することで、顕著な精度低下を伴わずメモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型正則化子は、ラベルにノイズが混入した状況下でも、画像分類の深層CNN性能を向上させることができるか？
• RQ2 グループスパース正則化子は、信頼性の高い補助画像をどれほど効果的に選択し、ノイズの多いサンプルを抑制できるか？
• RQ3 AIRは、合成的および現実世界のラベルノイズに対して、標準モデルや既存手法を上回るロバスト性を示すか？
• RQ4 メモリ使用量を最小限に抑えつつ、性能を維持したまま、大規模データセットへスケーリング可能か？

主な発見

• CIFAR-10で50%の合成ラベルノイズを想定した場合、AIRは72.3%のテスト精度を達成し、標準モデルやベースライン手法を上回った。
• 正則化に使用するグループを1%に制限した場合、メモリコストを顕著に削減したが、精度はわずか0.5%低下（71.8%）にとどまった。
• NUS-WIDE-LITEでは、SVMや他のベースライン手法よりも高い平均平均適合率（mAP）を達成し、ユーザーが付与したタグのノイズに対する優れたロバスト性を示した。
• 可視化により、AIRが活性化スコアが高くクリーンな画像を正しく優先し、ノイズや誤ラベルの画像を抑制していることが確認された。
• モデルがノイズの多いサンプルを効果的に抑制できることを、視覚的および定量的両面で検証した。AIRが誤ラベルの訓練サンプルを効果的に無視していることが示された。
• AIRは現実世界のノイズが混入したデータに対しても強力な一般化性能を示し、ラベル誤りパターンの事前知識がなくても有効であることが実証された。