[論文レビュー] Stacked Attention Networks for Image Question Answering

Zichao Yang, Xiaodong He+3 more|arXiv (Cornell University)|Nov 7, 2015

Multimodal Machine Learning Applications被引用数 193

ひとこと要約

本稿では、質問の意味論に基づいて関連する画像領域に段階的に注目するためのマルチレイヤー注目メカニズムを用いた画像質問応答のためのスタックドアテンションネットワーク（SANs）を提案する。このモデルは、階層的推論を用いることで、4つのベンチマークデータセットにおいて先行する最先端手法を上回る性能を発揮する。

ABSTRACT

This paper presents stacked attention networks (SANs) that learn to answer natural language questions from images. SANs use semantic representation of a question as query to search for the regions in an image that are related to the answer. We argue that image question answering (QA) often requires multiple steps of reasoning. Thus, we develop a multiple-layer SAN in which we query an image multiple times to infer the answer progressively. Experiments conducted on four image QA data sets demonstrate that the proposed SANs significantly outperform previous state-of-the-art approaches. The visualization of the attention layers illustrates the progress that the SAN locates the relevant visual clues that lead to the answer of the question layer-by-layer.

研究の動機と目的

• 答えが細部にわたる視覚的領域に依存する場合に、画像質問応答における複数ステップの推論の必要性に対処する。
• 複雑な画像において正確な答え関連領域を局在化できない単一の注目メカニズムの限界を克服する。
• 質問に応じたクエリを用いて、複数のレイヤーで視覚的注目を段階的に精錬する深層注目アーキテクチャを開発する。
• 質問に応じた注目を段階的に精錬することで、多様な画像QAベンチマークで顕著な性能向上を実証する。
• 注目レイヤーが段階的にどのように関連する視覚的手がかりを強調するかを可視化・分析する。

提案手法

• 画像から領域レベルの視覚的特徴を抽出するための畳み込みニューラルネットワーク（CNN）を用い、14×14の特徴マップを生成する。
• CNNまたはLSTMを用いて入力質問を符号化し、意味論的質問ベクトルを生成する。
• 各レイヤーが質問ベクトルを用いて画像特徴を照会し、注目された領域に基づいてクエリを精錬するマルチレイヤー注目メカニズムを適用する。
• 最初のレイヤーでは、質問ベクトルが画像を照会し、画像領域における初期の注目分布を生成する。
• 以降のレイヤーでは、元の質問と注目された特徴の組み合わせから得られる精錬されたクエリを用いて、より関連性の高い領域にさらに焦点を当てる。
• 最終的な答えは、最終的なクエリベクトルと最高レベルの注目された画像特徴を組み合わせ、分類器を用いて予測する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー注目メカニズムは、視覚的特徴に対する段階的推論を可能にすることで、画像質問応答の性能を向上させることができるか？
• RQ2 単一の注目モデルと比較して、注目レイヤーをスタックすることにより、答え関連の画像領域の局在化にどのような影響を与えるか？
• RQ3 階層的注目メカニズムは、多様な画像QAベンチマークにおいて、どの程度性能を向上させるか？
• RQ4 推論の各段階で、注目レイヤーはどのような視覚的および言語的手がかりを優先的に学習するか？
• RQ5 注目分布はレイヤーを経てどのように変化するか？また、人間の関連画像領域の解釈と一致するか？

主な発見

• COCO-QAデータセットでは、2レイヤーのスタックドアテンションネットワーク（SAN）が1レイヤー版を平均2.2%上回り、場所（Location）で1.3%、物体（Objects）で1.0%の向上を示した。
• VQAデータセットでは、2レイヤーのSANが「Other」質問タイプで1.4%、数値（Number）で0.2%の性能向上を示したが、「Yes/No」質問では向上が見られなかった。
• SANは4つの画像QAベンチマークで最先端の結果を達成し、LSTMベースのモデルや以前の注目メカニズムを含む、以前の最先端手法を顕著に上回った。
• 可視化の結果、最初の注目レイヤーは質問に言及された複数の物体や概念に反応するが、2番目のレイヤーでは答えに関連する領域に焦点が明確に集まることがわかった。
• 誤り分析の結果、42%の誤りは正しい視覚的注目ではあるが、答えの予測が誤っているものであり、31%はモデルの予測が視覚的に妥当な曖昧なラベルを含むものであった。
• 「Yes/No」質問では限られた改善しか得られなかったため、このような答えは質問に強く依存しており、視覚的特徴の精錬に対して感受性が低いことが示唆された。