[論文レビュー] Deep Attentional Structured Representation Learning for Visual Recognition

Krishna Kanth Nakka, Mathieu Salzmann|arXiv (Cornell University)|May 1, 2018

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本稿では、追加の教師信号を用いずに、トレーニング中に画像固有の注目マップを学習しながら、画像の分類ラベルを同時に予測するエンド・ツー・エンドの深層注目型構造的表現学習フレームワークを提案する。特徴の集約を判別性の高い画像領域に集中させることで、シーン認識および細粒度分類ベンチマークにおいて最先端の性能を達成し、すべての領域に等しく重みを割り当てる従来の構造的表現手法を上回る。

ABSTRACT

Structured representations, such as Bags of Words, VLAD and Fisher Vectors, have proven highly effective to tackle complex visual recognition tasks. As such, they have recently been incorporated into deep architectures. However, while effective, the resulting deep structured representation learning strategies typically aggregate local features from the entire image, ignoring the fact that, in complex recognition tasks, some regions provide much more discriminative information than others. In this paper, we introduce an attentional structured representation learning framework that incorporates an image-specific attention mechanism within the aggregation process. Our framework learns to predict jointly the image class label and an attention map in an end-to-end fashion and without any other supervision than the target label. As evidenced by our experiments, this consistently outperforms attention-less structured representation learning and yields state-of-the-art results on standard scene recognition and fine-grained categorization benchmarks.

研究の動機と目的

• すべての画像領域に均等に特徴を集約する従来の構造的表現学習手法の限界、すなわち領域の判別性を無視する点を是正すること。
• 画像レベル分類ラベルのみを教師信号として用い、エンド・ツー・エンドのトレーニング中に画像固有の注目マップを学習する深層学習フレームワークの開発。
• シーン認識や細粒度分類などの複雑な視覚認識タスクにおける性能向上を、情報量の多い局所的特徴に注目することで実現すること。

提案手法

• 分類タスクに対する関連性に基づいて局所的特徴の重みを動的に調整できるように、構造的表現学習パイプラインに注目メカニズムを統合する。
• 画像レベルのラベルのみを教師信号として用い、画像分類と注目マップ予測の両方を同時に最適化するエンド・ツー・エンドのトレーニングを実施する。
• 空間的注目マップを生成する微分可能モジュールを用い、そのマップを局所的特徴に適用した後、構造的表現への集約を実施する。
• VLAD やフィッシャー・ベクトルなどの標準的な構造的表現コンponents を用いるが、それらを注目に基づく特徴重み付けの後に適用する。
• 注目メカニズムはバックプロpagation中に学習され、ネットワークが意味的に重要な画像領域を自動的に特定・強調できる。
• 本フレームワークはさまざまな深層特徴および構造的表現タイプと互換性があり、異なる認識タスクに柔軟に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドでトレーニング可能な注目メカニズムは、視覚認識における構造的表現の判別力を向上させることができるか？
• RQ2 複雑な認識タスクにおいて、注目に基づく特徴集約は、すべての画像領域に等しく重みを割り当てる均一な集約と比べてどのように優れているか？
• RQ3 境界ボックスやピクセルレベルのアノテーションが一切ない状況でも、画像レベルのラベルのみで注目マップを効果的に学習できるか？
• RQ4 構造的表現学習に注目を組み込むことで、標準ベンチマークで最先端の性能が達成できるか？
• RQ5 シーン認識や細粒度分類といった多様な視覚認識タスクにおいて、本手法はどの程度の頑健性を示すか？

主な発見

• 提案された注目型構造的表現学習フレームワークは、注目メカニズムを用いない従来の構造的表現学習手法を一貫して上回る性能を発揮する。
• 標準的なシーン認識ベンチマークにおいて、最先端の性能を達成しており、優れた一般化能力と判別能力を示している。
• 注目メカニズムは意味的に関連する画像領域を効果的に特定・強調し、追加の教師信号なしに特徴表現の質を向上させた。
• エンド・ツー・エンドのトレーニング方式により、分類と注目マップの最適化が同時に実現され、より一貫性がありタスクに特化した注目マップが得られた。
• 本手法は、微細な視覚的差が重要な細粒度分類を含め、さまざまなデータセットやタスクに良好に一般化される。