[論文レビュー] Reciprocal Attention Fusion for Visual Question Answering.

Moshiur Farazi, Salman Khan|arXiv (Cornell University)|Jan 1, 2018

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、下位から上位へのアテンションと上位から下位へのアテンションを用いて、オブジェクトレベルとグリッドレベルの視覚的特徴の間の関係を統合的にモデル化する、視覚的質問応答（VQA）のための相互的アテンション統合機構を提案する。テンソル分解を用いた階層的特徴統合により、マルチモodal特徴を統合し、単一モデルとしての最先端性能を達成した。VQAv1では68.2%、VQAv2では67.4%のVQA精度を達成した。

ABSTRACT

Existing attention mechanisms either attend to local image grid or object level features for Visual Question Answering (VQA). Motivated by the observation that questions can relate to both object instances and their parts, we propose a novel attention mechanism that jointly considers reciprocal relationships between the two levels of visual details. The bottom-up attention thus generated is further coalesced with the top-down information to only focus on the scene elements that are most relevant to a given question. Our design hierarchically fuses multi-modal information i.e., language, object- and gird-level features, through an efficient tensor decomposition scheme. The proposed model improves the state-of-the-art single model performances from 67.9% to 68.2% on VQAv1 and from 65.7% to 67.4% on VQAv2, demonstrating a significant boost.

研究の動機と目的

• 既存のVQAモデルが局所的な画像グリッドやオブジェクトレベル特徴にのみ注目しており、微細な視覚的関係を欠いているという限界を是正すること。
• オブジェクトインスタンスとその部分の間の相互的アテンションをモデル化することで、VQA性能を向上させること。
• 言語、オブジェクトレベル、グリッドレベルの特徴を効率的に統合する階層的統合機構を開発すること。
• 標準的なVQAベンチマークで最先端の単一モデル性能を達成すること。

提案手法

• オブジェクトレベルとグリッドレベルの視覚的特徴の間の双方向的依存関係をモデル化する相互的アテンション機構を提案する。
• 下位から上位へのアテンションを用いて、オブジェクトおよびグリッドレベルの視覚的表現を生成する。
• 上位から下位への質問誘導型アテンションを統合し、関連するシーン要因に焦点を明確にする。
• 効率的なテンソル分解方式を用いて、マルチモーダル特徴（言語、オブジェクト、グリッド）を階層的に統合する。
• 統合された特徴を活用して、入力質問により関連性の高い回答を予測する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトインスタンスとその部分の間の関係をモデル化することで、VQA性能が向上するか？
• RQ2 オブジェクトレベルとグリッドレベルの特徴に対する統合的アテンションは、VQAにおける視覚的グランドイングをどのように向上させるか？
• RQ3 テンソル分解を用いたマルチモーダル特徴の階層的統合は、VQAベンチマークでの精度向上にどの程度寄与するか？
• RQ4 アンサンブル技術を用いずに、単一モデルアーキテクチャが先行研究の最先端手法を上回ることは可能か？

主な発見

• 提案手法は、VQAv1データセットで68.2%という、新たな単一モデルとしての最先端性能を達成した。
• VQAv2ベンチマークでは、精度が67.4%に向上し、先行手法と比較して顕著な向上を示した。
• 相互的アテンション機構は、質問に関連するグローバルかつ微細な視覚的詳細を効果的に捉えている。
• テンソル分解に基づく統合方式により、マルチモーダル特徴の効率的かつ効果的な統合が可能になった。