[論文レビュー] Progressive Attention Networks for Visual Attribute Prediction

Paul Hongsuck Seo, Zhe Lin+3 more|arXiv (Cornell University)|Jun 8, 2016

Multimodal Machine Learning Applications参考文献 23被引用数 32

ひとこと要約

本稿では、複数の畳み込み層にわたる注目メカニズムを適用することで、画像内のさまざまなスケールや形状のオブジェクトに対して段階的に注目を集中させる、新しいマルチレイヤー注目メカニズムであるプログレッシブアテンションネットワーク（PAN）を提案する。ハードアテンションと尤度周辺化、局所的コンテキストモデリングを統合することで、合成データおよび実世界データの両方で、ソフトアテンションや空間変換ネットワーク（STN）を上回る最先端の性能を達成した。

ABSTRACT

We propose a novel attention model that can accurately attends to target objects of various scales and shapes in images. The model is trained to gradually suppress irrelevant regions in an input image via a progressive attentive process over multiple layers of a convolutional neural network. The attentive process in each layer determines whether to pass or block features at certain spatial locations for use in the subsequent layers. The proposed progressive attention mechanism works well especially when combined with hard attention. We further employ local contexts to incorporate neighborhood features of each location and estimate a better attention probability map. The experiments on synthetic and real datasets show that the proposed attention networks outperform traditional attention methods in visual attribute prediction tasks.

研究の動機と目的

• 視覚的属性予測において、多様なスケールや形状のオブジェクトを処理するのを妨げる単一レイヤーのアテンションメカニズムの限界を解消すること。
• 畳み込みニューラルネットワーク（CNN）の複数レイヤーにわたり、段階的にアテンションマップを精緻化することで、アテンションの精度とロバスト性を向上させること。
• 特徴マップ内の局所的空間的コンテキストを組み込むことで、アテンションの安定性と局所化精度を向上させること。
• クエリ固有の視覚的属性予測タスクにおいて、ハードアテンションがソフトアテンションを上回る優位性を示すこと。
• VGG-16の中間層にアテンションモジュールをスタックし、エンドツーエンドの学習によって、実世界および合成データの両方でより良い性能を達成すること。

提案手法

• 事前学習済みのVGG-16ネットワークの複数レイヤーにわたり、小さな受容 field を持つ低レベル特徴から、大きな受容 field を持つ高レベル特徴へと段階的に注目を集中するプログレッシブアテンションメカニズムを適用する。
• 各レイヤーで、空間的領域を抑制することで関係のない場所を除外するアテンションマップを予測する。
• 各空間的位置の周囲（δ=2）における特徴の集約によって、局所的コンテキストをモデル化し、アテンションマップ推定の安定性を向上させる。
• ハードアテンションは尤度周辺化により実装され、ソフト特徴集約の代わりに用いられ、局所化精度の向上と意味的歪みの低減が図られる。
• Adam最適化アルゴリズムを用い、学習率の段階的減少とともにエンドツーエンドで微調整を行う。クエリ固有の条件付けは、クエリ埋め込みと最終的な注目特徴の融合によって実現される。
• オブジェクトクラスの条件付き事前分布を有する・なしで評価を行い、事前分布はクエリと注目特徴ベクトルを統合する全結合層によって統合される。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー注目メカニズムは、スケールや形状が異なるオブジェクトの局所化精度を、視覚的属性予測において向上させることができるか？
• RQ2 尤度周辺化と統合されたハードアテンションは、この文脈でソフトアテンションを上回る性能を発揮するか？
• RQ3 局所的空間的コンテキストの組み込みは、アテンションマップの安定性と精度にどのような影響を与えるか？
• RQ4 特徴階層全体にわたるプログレッシブアテンションは、STN や SAN のような単一レイヤーのアテンションメカニズムをどれほど上回るか？
• RQ5 提案手法は、クエリ固有の属性予測タスクにおいて、合成データおよび実世界データの両方で一般化可能か？

主な発見

• PAN[H]+CTXモデルは、『アテンションのみ』の設定でVGデータセットにおいて最高の重み付きmAP（34.19）を達成し、すべてのベースラインを大きく上回った。
• PASCAL VOC 2007データセットでは、PAN[H]+CTXが31.79%のTPR（再現率）を達成し、すべてのモデルの中で最高であった。
• ハードアテンションと局所的コンテキストを組み合わせたモデル（PAN[H]+CTX）は、VOC 2007で24.37%のTPRを示し、SAN（22.01%）およびHAN（24.91%）を上回った。
• プログレッシブアテンションに局所的コンテキストを組み合わせたモデル（PAN[S]+CTX）は、VGで32.50%のmAPを達成し、同設定でSAN（31.84%）およびHAN（31.93%）を上回った。
• 空間変換ネットワーク（STN）は高いmAPを示したが、TPRは低く（11.59%および1.99%）、精度は優れていたが局所化性能に欠けていた。
• アブレーションスタディの結果、ハードアテンションと局所的コンテキストの両方が性能向上に顕著に寄与しており、PAN[H]+CTXが最も優れた全体的な結果を達成した。