[論文レビュー] Attend in groups: a weakly-supervised deep learning framework for learning from web data

Bohan Zhuang, Lingqiao Liu+3 more|arXiv (Cornell University)|Nov 30, 2016

Advanced Neural Network Applications参考文献 36被引用数 5

ひとこと要約

本論文は、ランダムグループ化とアテンションメカニズムを組み合わせることで、ノイズの多いウェブ画像からの視覚認識を向上させる弱教師付き深層学習フレームワークを提案する。グループ内の少なくとも1枚の画像が正しくラベル付けされている確率を高めるために画像グループを形成し、ノイズの多い特徴を抑制するためにアテンションを用いることで、高レベルのラベルノイズ下でも、細分化画像分類および一般画像分類の両タスクで最先端の性能を達成し、ベースラインを著しく上回る。

ABSTRACT

Large-scale datasets have driven the rapid development of deep neural networks for visual recognition. However, annotating a massive dataset is expensive and time-consuming. Web images and their labels are, in comparison, much easier to obtain, but direct training on such automatically harvested images can lead to unsatisfactory performance, because the noisy labels of Web images adversely affect the learned recognition models. To address this drawback we propose an end-to-end weakly-supervised deep learning framework which is robust to the label noise in Web images. The proposed framework relies on two unified strategies -- random grouping and attention -- to effectively reduce the negative impact of noisy web image annotations. Specifically, random grouping stacks multiple images into a single training instance and thus increases the labeling accuracy at the instance level. Attention, on the other hand, suppresses the noisy signals from both incorrectly labeled images and less discriminative image regions. By conducting intensive experiments on two challenging datasets, including a newly collected fine-grained dataset with Web images of different car models, the superior performance of the proposed methods over competitive baselines is clearly demonstrated.

研究の動機と目的

• 大規模なウェブ画像に自動で割り当てられたノイズの多いラベルを用いた深層ネットワークの学習という課題に対処すること。
• 人間によるクリーンなラベルを必要とせずに、ウェブデータのラベルノイズの悪影響を低減すること。
• 弱教師付きで、ノイズの多いアノテーションに強く、かつ下流タスクで高い性能を維持できるエンドツーエンドのフレームワークを開発すること。
• ウェブデータのみを用いて、細分化および一般画像分類ベンチマークで有効性を実証すること。
• シンプルで効果的な学習戦略を導入することで、実用的なウェブデータを用いたロバストな視覚モデルの学習を可能にすること。

提案手法

• ランダムグループ化：複数のウェブ画像を1つの学習インスタンスにスタックすることで、グループ内に少なくとも1枚の正しくラベル付けされた画像が存在する確率を高め、グループレベルのラベル精度を向上させる。
• グループレベル表現：グループ内のすべての画像からの畳み込み特徴マップを統合し、学習インスタンスの統一された特徴表現を形成する。
• アテンションメカニズム：識別的な画像領域に注目し、誤ラベル画像からの不要なまたはノイズの多い特徴を抑制するための学習可能なアテンションモジュールを適用する。
• アテンション正則化：アテンションモジュールが情報量の多い局所的特徴に注目し、ノイズ信号に過剰に適合するのを防ぐために正則化項を導入する。
• エンドツーエンド学習：事前学習を必要とせず、ランダムグループ化とアテンションを1つの統合的最適化パイプラインに組み込む。
• 再ランク戦略：訓練済みモデルの分類スコアを用いて訓練データを再ランクし、信頼度の高い、おそらく正しいサンプルを優先することで、データ品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ウェブ画像のランダムグループ化により、グループレベルのラベルが正しくなる確率が向上し、弱教師付き学習の信頼性が向上するか？
• RQ2 アテンションメカニズムは、誤ラベル画像からのノイズの多い特徴をどの程度抑制でき、モデルの一般化性能を向上させられるか？
• RQ3 ランダムグループ化とアテンションの組み合わせは、非常にノイズの多いウェブデータを用いた細分化画像分類タスクでの性能にどのように影響を与えるか？
• RQ4 提案されたフレームワークは、ImageNet などの標準的な画像分類タスクに、ノイズの多いウェブデータを用いて一般化可能か？
• RQ5 モデルの信頼度に基づいてウェブ画像を再ランクすることで、訓練データの品質と下流タスクの性能が向上するか？

主な発見

• 60%のラベルノイズを伴うWebCarsデータセットにおいて、提案手法RGT+AT+Rはグループサイズ4でmAP 91.04%を達成し、AP（74.42%）およびAP+AT（90.56%）のベースラインを著しく上回った。
• グループサイズ2の場合、ノイズの多いウェブデータからスクラッチで学習した際、ILSVRC2012検証セットでトップ1正解率71.24%を達成し、APベースライン（58.81%）を12.43ポイント上回った。
• アテンションメカニズム単体でも、ImageNetウェブデータ設定において正解率が約9%向上した。これは、ノイズの多い特徴を効果的にフィルタリングできることを示している。
• 再ランク戦略は、正しくラベル付けされた画像を的確に優先することができ、わずか数枚の誤ラベル画像しか上位にランクされなかった。これは、優れたデータ品質選別能力を示している。
• 最適なグループサイズは、ImageNet設定では2であった。このとき正解率が71.24%にピークに達し、グループサイズ選択の重要性を裏付けた。
• アテンションマップの可視化により、正しくラベル付けされた画像では識別的な部分が正しく局所化されているのに対し、誤ラベル画像では注目が散逸していることが確認され、ノイズの抑制能力が妥当であることが検証された。