[論文レビュー] High-Order Attention Models for Visual Question Answering

Idan Schwartz, Alexander G. Schwing+1 more|arXiv (Cornell University)|Nov 12, 2017

Multimodal Machine Learning Applications参考文献 21被引用数 45

ひとこと要約

本論文は、視覚的および言語的入力間の複雑でマルチモodalな相関関係をモデル化する、新しい高次元アテンションメカニズムを提案する。画像領域と質問語の間の2次元以降の相互作用を学習することで、比較的小さなモデル（40Mパラメータ）でありながら、埋め込み次元が低く、構造が単純であるにもかかわらず、既存のアテンションベースのモデルを上回る、標準的なVQAデータセットにおける最先端の性能を達成した。

ABSTRACT

The quest for algorithms that enable cognitive abilities is an important part of machine learning. A common trait in many recently investigated cognitive-like tasks is that they take into account different data modalities, such as visual and textual input. In this paper we propose a novel and generally applicable form of attention mechanism that learns high-order correlations between various data modalities. We show that high-order correlations effectively direct the appropriate attention to the relevant elements in the different data modalities that are required to solve the joint task. We demonstrate the effectiveness of our high-order attention mechanism on the task of visual question answering (VQA), where we achieve state-of-the-art performance on the standard VQA dataset.

研究の動機と目的

• 既存のアテンションメカニズムが、しばしばモダリティを別々に扱うか、手作業で設計された構造を採用しているという限界に対処すること。
• 画像やテキストのような複数のデータモダリティ間の高次元相関を明示的にモデル化できる汎用的なアテンションメカニズムを開発すること。
• 高次元相互作用を通じて、関連する画像領域と質問語を同時に注目することで、視覚的質問応答における性能と解釈可能性を向上させること。
• 提案手法の有効性を標準ベンチマーク上で示し、軽量なモデルで最先端の結果を達成すること。

提案手法

• 本手法は、高次元ポテンシャルに基づく確率的アテンションフレームワークを導入し、単一ポテンシャル（例：画像または質問のアテンション）が個々のモダリティの注目を表し、ペairワイズまたは高次元ポテンシャルがモダリティ間の相互作用をモデル化する。
• 一般化されたMultimodal Compact Bilinear（MCB）レイヤーのバージョンを用いたマルチモーダル統合レイヤーを採用し、3モダリティ（画像、質問、選択肢の複数）に拡張したものをMCT（Multimodal Compact Tensor）と呼ぶ。
• アテンションメカニズムは、条件付きランダムフィールド（CRF）に類似した定式化により、単一およびペアワイズのポテンシャルを組み合わせ、注目重みの構造的予測を可能にする。
• 特徴量は事前学習済みネットワーク（例：画像にはVGG、質問にはLSTM）から抽出され、VQAデータセット上でクロスエントロピー損失を用いてエンドツーエンドで学習される。
• 本フレームワークは任意の数のモダリティに拡張可能であり、2項相互作用を超える複雑な依存関係の柔軟なモデル化を可能にする。
• 最終的なアテンションマップは、トレーニング中に学習される重みによる単一およびペアワイズポテンシャルの重み付き組み合わせとして計算される。

実験結果

リサーチクエスチョン

• RQ1 視覚的および言語的モダリティ間の高次元相関は、視覚的質問応答における性能向上に寄与するか？
• RQ2 3モダリティ（画像、質問、回答）間の相互作用をモデル化することで、VQAにおける注目品質と精度にどのような影響を与えるか？
• RQ3 高次元ポテンシャルに基づく単純で汎用的なアテンションメカニズムは、複雑なタスク固有のアテンションモジュールを上回ることができるか？
• RQ4 提案手法は、意味的に関連する画像領域や質問語と一致する注目を可能にすることで、解釈可能性を向上させるか？

主な発見

• 提案された高次元アテンションメカニズムは、VQAのテストデブおよびテストスタンダードデータセットで最先端の性能を達成し、3モダリティの2層MCB統合を用いた場合、バリデーションセットで64.57%の精度を記録した。
• 4000万パラメータと512次元の低い埋め込み次元でさえ、7000万パラメータ以上で高次元特徴量を用いる既存手法を上回った。
• 3モダリティモデルは2モダリティベースラインに比べて顕著な性能向上を示し、高次元相互作用をモデル化することの重要性を裏付けた。
• 定性的な分析から、ペアワイズポテンシャルが質問内容に基づいて関連する視覚的領域に適切に注目していることが明らかになった。例えば、数え上げに関する質問では眼鏡に注目し、服の色に関する質問では青いシャツを着た人物に注目した。
• モデルは関連する画像領域や質問語に適切に注目できており、バッテリー駆動のデバイスに関する質問ではラップトップに注目することで、回答の正確性が向上した。
• モデルが目立つが関係のない物体（例：カラフルな傘）に誤って注目してしまう失敗事例が観察された。これは、曖昧または誘導的な視覚的特徴を処理する際の限界を示している。