[論文レビュー] SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering

Peixi Xiong, Quanzeng You+3 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、視覚的および言語的コンテンツの構造的グラフ表現を用いて、二重Transformerアーキテクチャを通じてクロスモダリティ整合性を向上させる、新しい視覚質問応答モデルSA-VQAを提案する。注意メカニズムを介してシーングラフと意味的ノードスコアを統合することで、GQAでは事前学習を一切行わず、VQA-v2では事前学習を行わない手法よりも優れた性能を達成するとともに、注意の可視化により回答の解釈可能性を向上させた。

ABSTRACT

Visual Question Answering (VQA) attracts much attention from both industry and academia. As a multi-modality task, it is challenging since it requires not only visual and textual understanding, but also the ability to align cross-modality representations. Previous approaches extensively employ entity-level alignments, such as the correlations between the visual regions and their semantic labels, or the interactions across question words and object features. These attempts aim to improve the cross-modality representations, while ignoring their internal relations. Instead, we propose to apply structured alignments, which work with graph representation of visual and textual content, aiming to capture the deep connections between the visual and textual modalities. Nevertheless, it is nontrivial to represent and integrate graphs for structured alignments. In this work, we attempt to solve this issue by first converting different modality entities into sequential nodes and the adjacency graph, then incorporating them for structured alignments. As demonstrated in our experimental results, such a structured alignment improves reasoning performance. In addition, our model also exhibits better interpretability for each generated answer. The proposed model, without any pretraining, outperforms the state-of-the-art methods on GQA dataset, and beats the non-pretrained state-of-the-art methods on VQA-v2 dataset.

研究の動機と目的

• VQAにおけるエンティティレベルのクロスモダリティ整合性の限界を克服するため、グラフ表現を用いた構造的整合性を導入すること。
• 視覚的領域、言語的質問、シーングラフエンティティ間の深い関係をモデル化することで、VQAにおける推論性能を向上させること。
• 画像領域と質問語との間の注意相関を可視化することで、モデルの解釈可能性を向上させること。
• 意味的グラフの品質（特に不正確なシーングラフ予測を用いた場合）がVQA性能に与える影響を評価すること。
• 明示的なグラフ教師なし条件下でも、構造的グラフ統合がエンドツーエンドの注意よりも優れていることを示すこと。

提案手法

• モデルは、画像領域とその上位5つの予測ラベルから、事前学習済みのSNSモデルを用いて重み付きノード特徴を生成することで、視覚的および意味的グラフを構築する。
• 二重Transformerエンコーダーを用いて、視覚的グラフ、意味的グラフ、質問の3つの入力ストリーム（それぞれに対応する隣接行列を有する）を処理する。
• グラフ注意メカニズムを用いて、モダリティ間の特徴を整合化し、構造的表現が関連する画像領域および質問語に注目するように誘導する。
• グラフトポロジーを活用してクロスモダリティ推論を向上させる共通注意メカニズムを用いて、マルチモーダル特徴を統合する。
• スーパーノードをオブジェクト候補として用い、SNSの信頼度によって特徴を重み付けすることで、低精度予測からのノイズを低減する。
• モデルは事前学習を回避し、代わりに限られたデータから効果的な表現を学ぶために、グラフガイドド注意に依存する。

実験結果

リサーチクエスチョン

• RQ1 構造的グラフ表現は、エンティティレベルの注目を越えて、VQAにおけるクロスモダリティ整合性を向上させることができるか？
• RQ2 シーングラフの統合は、VQAにおける推論性能とモデルの解釈可能性にどのように影響するか？
• RQ3 意味的グラフの品質（例：予測ラベル vs. 真値ラベル）は、最終的なVQA精度に影響を与えるか？
• RQ4 一元化されたTransformerアーキテクチャは、性能の低下を伴わずに複数のグラフストリームを効果的に処理できるか？
• RQ5 上位5つのオブジェクト候補の重み付き統合は、単一ラベル入力や均等平均化よりも効果的か？

主な発見

• SA-VQAは、VQA-v2データセットにおいて、事前学習を行わない最先端手法を上回り、優れたゼロショット一般化性能を示した。
• GQAデータセットでは、事前学習を一切行わず、大規模な事前学習に依存するモデルを上回る最先端の性能を達成した。
• アブレーションスタディの結果、隣接行列やガイド付きグラフを削除すると性能が低下し、構造的表現の重要性が確認された。
• SNSスコアを用いて上位5つのオブジェクト特徴を重み付けすることで、均等平均化や単一ラベル入力よりも性能が向上した。これは、ノイズ低減が有効であることを示している。
• SA-VQAの性能は、下位の意味的ノードスコアリング（SNS）モデルの正確性と正の相関を示しており、より良いグラフがより良い結果をもたらすことを確認した。
• 定性的な注意マップは、モデルが関連する質問語と対応する画像領域を適切に一致させていることを示しており、解釈可能性が向上している。