[論文レビュー] MGA-VQA: Multi-Granularity Alignment for Visual Question Answering

Peixi Xiong, Yilin Shen+1 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

MGA-VQAは、視覚的質問応答（VQA）のためのマルチスケールアライメントフレームワークを提案し、コンセプト・エンティティ、リージョン・ノウンフレーズ、空間的文の3段階のレベルで、モダリティ内およびモダリティ間の相関を学習することで、クロスモーダル注意を向上させる。構造的リーダーグラフと意思決定統合モジュールを用いることで、追加の事前学習データを必要とせず、GQAとVQA-v2で最先端の性能を達成し、GQAでは事前学習モデルでさえも上回る。

ABSTRACT

Learning to answer visual questions is a challenging task since the multi-modal inputs are within two feature spaces. Moreover, reasoning in visual question answering requires the model to understand both image and question, and align them in the same space, rather than simply memorize statistics about the question-answer pairs. Thus, it is essential to find component connections between different modalities and within each modality to achieve better attention. Previous works learned attention weights directly on the features. However, the improvement is limited since these two modality features are in two domains: image features are highly diverse, lacking structure and grammatical rules as language, and natural language features have a higher probability of missing detailed information. To better learn the attention between visual and text, we focus on how to construct input stratification and embed structural information to improve the alignment between different level components. We propose Multi-Granularity Alignment architecture for Visual Question Answering task (MGA-VQA), which learns intra- and inter-modality correlations by multi-granularity alignment, and outputs the final result by the decision fusion module. In contrast to previous works, our model splits alignment into different levels to achieve learning better correlations without needing additional data and annotations. The experiments on the VQA-v2 and GQA datasets demonstrate that our model significantly outperforms non-pretrained state-of-the-art methods on both datasets without extra pretraining data and annotations. Moreover, it even achieves better results over the pre-trained methods on GQA.

研究の動機と目的

• 単一レベルの統合にとどまらないクロスモーダル注意の向上により、VQAにおける視覚的および言語的特徴のアライメントの課題に取り組む。
• 直接的な特徴統合や構造的ガイダンスのない注意に依存する既存手法の限界を克服する。
• 画像および言語のコンponentsの複数のスケールにおける相関を学習することで、VQAにおける解釈可能性およびロバスト性を向上させる。
• 大規模な事前学習データへの依存を排除するため、グラフ構造的でマルチスケールの注意メカニズムを導入する。
• 構造的で多段階のアライメントが、特に複雑な視覚的推論タスクにおいて推論力および一般化性能を向上させることを実証する。

提案手法

• 3つのスケールレベルを導入：コンセプト・エンティティ（画像）、リージョン・ノウンフレーズ（画像と質問）、空間的文（全体の画像と質問）。
• 各スケールレベルで、構造的情報を画像および質問表現に埋め込むためのリーダーグラフを構築する。
• 各スケールレベルでモダリティ内およびモダリティ間の相関を学習するため、個別のトランスフォーマー（GA-TRM）を適用する。
• 質問に従った視覚的注目と画像に従った質問の注目を同時に実行する共同注目メカニズムを実装する。
• すべてのスケールレベルからの出力を統合して最終的な回答予測を行う意思決定統合モジュールを用いる。
• 追加の事前学習データを一切使用せず、エンド・トゥ・エンドで学習し、階層的アライメントを学習するアーキテクチャの能力に依存する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習データを必要とせずに、マルチスケールアライメントがVQAの性能を向上させることができるか？
• RQ2 画像および言語のコンponentsの複数レベルにおける相関の学習が、モデルのロバスト性および解釈可能性に与える影響は何か？
• RQ3 構造的グラフ情報（リーダーグラフ）を組み込むことで、クロスモーダル注目および推論がどの程度向上するか？
• RQ4 異なるスケールレベルでモダリティ内およびモダリティ間の相関を同時に学習することで、単一レベルのアライメントよりも一般化性能が向上するか？
• RQ5 外部の事前学習データやアノテーションに依存せずに、GQAおよびVQA-v2で最先端の性能を達成できるか？

主な発見

• MGA-VQAはGQAのtest-stdスプリットで79.4％のトップ1正解率を達成し、事前学習を行わない最先端手法を上回り、一部の事前学習モデルをも凌駆する。
• VQA-v2のtest-devスプリットでは65.8％のトップ1正解率を達成し、いかなる事前学習データも使用しないにもかかわらず、強力な性能を示す。
• アブレーションスタディにより、マルチスケールアライメントが不可欠であることが確認された。どのレベルを削除しても性能が低下し、3つのレベルをすべて使用した際に最高の正解率が得られた。
• リーダーグラフコンponentは性能向上に顕著な貢献を示しており、その削除により正解率が2.1％低下した。これは、アライメントをガイドする役割を果たしていることを示している。
• 高レベルのコンセプト検出が不正確であっても、低レベルのアライメントが補完的詳細を提供することで、モデルは強力な性能を維持する。
• トレーニング時に正規のシーングラフが使用された場合、正解率は92.79％に達し、正確な構造的入力が与えられた場合にモデルが強い推論能力を示すことを確認した。