[論文レビュー] Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering

Huijuan Xu, Kate Saenko|arXiv (Cornell University)|Nov 17, 2015

Multimodal Machine Learning Applications参考文献 30被引用数 105

ひとこと要約

本稿では、視覚的質問応答（VQA）のための空間記憶ネットワーク（SMem-VQA）を提案する。これは、質問に従って画像領域に対する空間的注目を実行することで、空間的推論を明示的にモデル化する、マルチホップ記憶ネットワークである。このモデルは、VQAおよびDAQUARデータセットで最先端の性能を達成し、VQAのテスト・スタンダード分割においてiBOWIMGベースラインより2.35%の向上を達成した。また、注目に基づく推論ステップの解釈可能な可視化を可能にした。

ABSTRACT

We address the problem of Visual Question Answering (VQA), which requires joint image and language understanding to answer a question about a given photograph. Recent approaches have applied deep image captioning methods based on convolutional-recurrent networks to this problem, but have failed to model spatial inference. To remedy this, we propose a model we call the Spatial Memory Network and apply it to the VQA task. Memory networks are recurrent neural networks with an explicit attention mechanism that selects certain parts of the information stored in memory. Our Spatial Memory Network stores neuron activations from different spatial regions of the image in its memory, and uses the question to choose relevant regions for computing the answer, a process of which constitutes a single "hop" in the network. We propose a novel spatial attention architecture that aligns words with image patches in the first hop, and obtain improved results by adding a second attention hop which considers the whole question to choose visual evidence based on the results of the first hop. To better understand the inference process learned by the network, we design synthetic questions that specifically require spatial inference and visualize the attention weights. We evaluate our model on two published visual question answering datasets, DAQUAR [1] and VQA [2], and obtain improved results compared to a strong deep baseline model (iBOWIMG) which concatenates image and question features to predict the answer [3].

研究の動機と目的

• 既存のVQAモデルがグローバルな画像特徴と再帰的ネットワークに依存するが、空間的推論が明示的でないという問題に対処する。
• オブジェクトの位置と関係性を記憶ネットワークアーキテクチャでモデル化することで、視覚的質問応答モデルが複数ステップの空間的推論を実行できるようにする。
• 質問に従って注目を向ける空間的注目メカニズムを設計し、質問内の個々の語を特定の画像領域に一致させることで、細粒度の証拠収集を可能にする。
• 空間的推論を要する合成質問を用いてモデルの推論プロセスを評価し、注目重みを可視化してモデルの挙動を解釈する。
• iBOWIMGやDPPnetといった強力なベースラインと比較して、標準的なVQAおよびDAQUARベンチマークで性能を向上させる。

提案手法

• モデルは、画像の異なる空間的領域からの特徴活性を記憶ベクトルとして保持する記憶ネットワークを用い、視覚的特徴上の空間的注目を可能にする。
• 最初のホップでは、各単語埋め込みと画像パッチ特徴の間の相関スコアを計算することで、語レベルの注目を適用し、質問語と画像領域の間の細粒度の整合性を実現する。
• 2番目のホップでは、質問全体の埋め込みと最初のホップで得られた注目特徴を用いて、洗練された注目マップを計算し、答え予測に適したより正確な視覚的証拠を選択する。
• モデルは、答え予測における交差エントロピー損失を用いてエンドツーエンドで訓練され、注目重みはバックプロパゲーションにより学習される。
• 3番目のホップも検討されたが、性能向上が見られず、2ホップを超えると利得が減少することが示された。
• モデルはVQAおよびDAQUARデータセットで評価され、注目重みの可視化により空間的推論プロセスの解釈が行われた。

実験結果

リサーチクエスチョン

• RQ1 空間的注目を備えた記憶ネットワークは、画像領域に対して複数ホップの推論を学習し、視覚的質問に答えられるか？
• RQ2 質問に従って注目を向ける空間的注目は、グローバルな画像特徴モデルと比較してVQAの性能を向上させるか？
• RQ3 モデルの注目メカニズムを可視化することで、空間的関係に基づく論理的推論ステップを明らかにできるか？
• RQ4 1ホップおよび3ホップの変種と比較して、2ホップ注目メカニズムの性能はどのように異なるか？
• RQ5 空間的推論を要する合成質問は、モデルの推論能力を効果的に検証・探査するのに適しているか？

主な発見

• SMem-VQA 2ホップモデルは、VQAデータセットでテスト・スタンダード分割において58.24%の精度を達成し、iBOWIMGベースライン（55.89%）より2.35%の向上を示した。
• DAQUARデータセットでは、SMem-VQA 2ホップモデルが79.05%の精度を達成し、iBOWIMGベースライン（76.55%）を上回った。
• モデルは、特に複雑な空間的推論カテゴリにおいて優れた1つの回答カテゴリごとの精度を示し、空間的質問に対する一般化性能が向上していることを示した。
• 注目重みの可視化により、モデルが特定の質問語（例：'cat'、'basket'）を対応する画像領域に正しく一致させていることが確認され、解釈可能な推論が可能になった。
• 2番目のホップを追加することで、1ホップバージョン（VQAテスト・スタンダードで56.56%）よりも性能が向上し、複数ホップの推論が空間的推論を強化することを示した。
• 3番目のホップは性能向上をもたらさず、この設定では2ホップで十分な空間的注目が達成可能であることが示された。