[論文レビュー] Dynamic Fusion with Intra- and Inter- Modality Attention Flow for Visual Question Answering

Peng Gao, Zhengkai Jiang+5 more|arXiv (Cornell University)|Dec 13, 2018

Multimodal Machine Learning Applications参考文献 48被引用数 17

ひとこと要約

本稿では、視覚的および言語的特徴を交互に相互作用させながら動的に統合する、新たなフレームワークである「Intra-およびInterモダリティ Attention Flow を用いた Dynamic Fusion（DFAF）」を提案する。この手法は、視覚的および言語的特徴の間で高レベルの相互作用を同時にモデル化し、一方のモダリティの内容に応じて内挿的（intra-modality）な自己注意を動的に制御することで、特徴の品質を向上させる。VQA 2.0 において、70.34% の全体精度を達成し、最先端性能を実現した。

ABSTRACT

Learning effective fusion of multi-modality features is at the heart of visual question answering. We propose a novel method of dynamically fusing multi-modal features with intra- and inter-modality information flow, which alternatively pass dynamic information between and across the visual and language modalities. It can robustly capture the high-level interactions between language and vision domains, thus significantly improves the performance of visual question answering. We also show that the proposed dynamic intra-modality attention flow conditioned on the other modality can dynamically modulate the intra-modality attention of the target modality, which is vital for multimodality feature fusion. Experimental evaluations on the VQA 2.0 dataset show that the proposed method achieves state-of-the-art VQA performance. Extensive ablation studies are carried out for the comprehensive analysis of the proposed method.

研究の動機と目的

• 既存の VQA メソッドが主にモダリティ間関係に注目している一方で、視覚および言語モダリティ内での補完的関係を無視しているという限界を是正すること。
• VQA における特徴統合の向上を目的として、モダリティ間およびモダリティ内両方の情報フローを統合的にモデル化する統一フレームワークの開発。
• 他方のモダリティの内容に応じて内挿的注意を動的に制御することで、各モダリティ内での文脈に適した特徴精錬を可能にすること。
• 反復的な注意フローにより、視覚的領域と質問語との間の複雑な高次相互作用を捉えることで、VQA の性能を向上させること。

提案手法

• フレームワークは、相互モダリティ注意フロー（InterMAF）と動的内挿的モダリティ注意フロー（DyIntraMAF）の交互なブロックを用い、モダリティ間およびモダリティ内に情報を伝達する。
• InterMAF は、視覚的領域と質問語の間で共同共注意力行列を計算し、注意重み付き集約によってモダリティ間特徴統合を実現する。
• DyIntraMAF は各モダリティ内で自己注意を適用するが、他方のモダリティからの特徴を用いて注意重みを動的に調整することで、文脈に適した特徴学習を強化する。
• 内挿的注意の動的調整により、関連する情報フローのみが保持され、特徴表現の品質が向上する。
• 複数の DFAF ブロックをスタックすることで、特徴を段階的に精錬し、顕著な画像領域や質問語に焦点を当てる。
• 強化された入力表現を得るため、ボトムアップ検出からの視覚的特徴と、例えば BERT による文脈的単語埋め込みを統合する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ内およびモダリティ間の注意フローを同時にモデル化することで、単にモダリティ間相互作用に注目する手法と比較して、VQA の性能が向上するか？
• RQ2 他方のモダリティからの情報を用いて内挿的注意を制御することで、特徴表現および下流タスクの精度にどのような影響を与えるか？
• RQ3 提案された動的統合メカニズムは、静的または純粋に内部の内挿的メッセージ伝達に比べて、マルチモーダル推論タスクで優れた性能を示すか？
• RQ4 本フレームワークは、yes/no、数え上げ、オープンエンドドの質問タイプといったさまざまな質問タイプに、どの程度一般化可能か？

主な発見

• 提案された DFAF フレームワークは、VQA 2.0 の test-dev スプリットで 86.09% の精度を達成し、以前の最先端手法を上回った。
• BERT を用いた文脈的埋め込みを用いることで、test-dev で 86.73%、全体の test-std スプリットで 70.81% の精度を達成し、新たな SOTA を樹立した。
• アブレーションスタディの結果、他方のモダリティによって制御される DyIntraMAF が、相互作用の条件なしの標準的内挿的自己注意よりも顕著に優れた性能を示した。
• 可視化結果から、DyIntraMAF は質問に応じて不要な領域を動的にフィルタリングしており、より解釈可能で正確な注意重みを生成していることが示された。
• 絶対的または相対的位置埋め込みを追加すると性能が低下し、モデルが位置情報の事前知識に依存せず、注意に基づく推論に依存していることが示された。
• 8 個の注意ヘッドを用いることで、1、4、8 個のヘッドと比較してより優れた性能を達成した（同じパラメータ予算下）。これは、本フレームワークにおける多頭注意の有効性を裏付けた。