[論文レビュー] VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering

Yanan Wang, Michihiro Yasunaga+3 more|arXiv (Cornell University)|May 23, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

VQA-GNNは、質問と回答の文脈を表すスーパーサブノードを介して、非構造的（例：QA文脈）および構造的（例：シーングラフ、コンセプトグラフ）なマルチモーダル知識を統合する双方向融合フレームワークを提案する。マルチモーダルGNNを用いて視覚的質問応答のための統合的推論を強化し、VCR（Q-AR）で強力なベースラインを3.2%、GQAで4.6%上回る最先端の性能を達成した。

ABSTRACT

Visual question answering (VQA) requires systems to perform concept-level reasoning by unifying unstructured (e.g., the context in question and answer; "QA context") and structured (e.g., knowledge graph for the QA context and scene; "concept graph") multimodal knowledge. Existing works typically combine a scene graph and a concept graph of the scene by connecting corresponding visual nodes and concept nodes, then incorporate the QA context representation to perform question answering. However, these methods only perform a unidirectional fusion from unstructured knowledge to structured knowledge, limiting their potential to capture joint reasoning over the heterogeneous modalities of knowledge. To perform more expressive reasoning, we propose VQA-GNN, a new VQA model that performs bidirectional fusion between unstructured and structured multimodal knowledge to obtain unified knowledge representations. Specifically, we inter-connect the scene graph and the concept graph through a super node that represents the QA context, and introduce a new multimodal GNN technique to perform inter-modal message passing for reasoning that mitigates representational gaps between modalities. On two challenging VQA tasks (VCR and GQA), our method outperforms strong baseline VQA methods by 3.2% on VCR (Q-AR) and 4.6% on GQA, suggesting its strength in performing concept-level reasoning. Ablation studies further demonstrate the efficacy of the bidirectional fusion and multimodal GNN method in unifying unstructured and structured multimodal knowledge.

研究の動機と目的

• 既存のVQAモデルが非構造的および構造的マルチモーダル知識を同時に推論できない一方向の統合の限界を解消すること。
• 非構造的知識（例：QA文脈、視覚的領域）と構造的知識（例：シーングラフ、コンセプトグラフ）を統合し、より優れた推論を可能にする一貫性のある表現を統一すること。
• マルチモーダルGNNを導入し、モダリティ間のメッセージパッシングを実施することで、モダリティ間の表現ギャップを軽減すること。
• 双方向融合とモダリティに特化したメッセージパッシングが、挑戦的なVQAベンチマークでの性能向上に顕著に寄与することを示すこと。

提案手法

• 質問と回答の文脈を表すスーパーサブノードを介して、VisualGenomeから得たシーングラフとConceptNetから得たコンセプトグラフを接続することで、マルチモーダル意味グラフを構築する。
• RoBERTaを用いてQA文脈を高密度ベクトル表現にエンコードし、グラフ内のQA文脈ノードとして使用する。
• VisualGenomeから関連する視覚的領域を検索し、埋め込み表現に変換した後、平均プーリングを用いて集約し、シーングラフに接続されたQAコンセプトノードを形成する。
• 視覚的モダリティとテキスト／コンセプトモダリティに特化したGNNモジュールを備えたマルチモーダルGNNを導入し、QA文脈ノードとシーングラフ・コンセプトグラフ内のノード間でモダリティ間メッセージパッシングを実行する。
• 視覚モダリティ用（m1）およびテキスト／概念的モダリティ用（m2）のモダリティ固有のメッセージパッシングメカニズムを適用し、表現ギャップを低減させ、双方向の情報フローを可能にする。
• トレーニング中にRoBERTaベースのQA文脈ノードの重みを微調整することで、モダリティ間での相互情報集約を可能にする。

Figure 1 : Overview of VQA-GNN . Given an image and QA sentence, we obtain unstructured knowledge ( e.g . , QA-concept node p and QA-context node z) and structured knowledge ( e.g . , scene-graph and concept-graph), and then unify them to perform bidirectional fusion for visual question answering.

実験結果

リサーチクエスチョン

• RQ1 非構造的および構造的マルチモーダル知識の間で双方向統合を実施することで、視覚的質問応答における推論性能が向上するか？
• RQ2 マルチモーダルGNNアーキテクチャにおけるモダリティ間メッセージパッシングは、一方向統合と比較してVQAベンチマークでの性能にどのように影響するか？
• RQ3 視覚的およびテキスト的モダリティ間の表現ギャップを低減させることで、回答予測の正確性がどの程度向上するか？
• RQ4 モダリティに特化したメッセージパッシングを備えた本稿で提案するマルチモーダルGNNは、一般的なGNNよりもVQAタスクで優れた性能を発揮するか？
• RQ5 スーパーサブノードを用いたグラフ構築法は、異種の知識源を統合し、共同推論を可能にするためにどの程度有効か？

主な発見

• VQA-GNNは、強力なベースラインを上回り、VCRベンチマーク（Q-AR指標）で3.2%の絶対的向上を達成した。これは、コンセプトレベルの推論における有効性を示している。
• GQAベンチマークでは、強力なベースラインを4.6%上回った。これは、オープンドメインの質問応答における強みを示している。
• GQAデータセットにおいて、双方向統合機構は一方向統合の変種よりも4%の性能向上をもたらした。これは、共同推論における利点を確認するものである。
• マルチモーダルGNN技術により、モダリティギャップが低減され、VCRベンチマークでは一般的なGNNを4.5%上回った。これは、モダリティ間メッセージパッシングの有効性を裏付けている。
• アブレーションスタディの結果、ノード表現の平均プーリングは62.3%と著しく劣り、本手法は90.3%を達成した。これは、モデルが重要な構造的関係を捉えていることを示している。
• GQAでは、アノテート済みの意味的機能プログラムを使用せずに、90.3%の検証精度を達成した。これは、現実的な設定下でも強力な汎化性能と耐障害性を示している。

Figure 2 : Reasoning procedure of VQA-GNN. We first build a multimodal semantic graph for each given image-QA pair to unify unstructured ( e.g . , “node p” and “node z”) and structured ( e.g . , “scene-graph” and “concept-graph”) multimodal knowledge (§ 4.1 ). Then we perform inter-modal message pas