[論文レビュー] Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering

Zihao Zhu, Jing Yu+4 more|arXiv (Cornell University)|Jun 16, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 20

ひとこと要約

Muckoは、視覚的、意味的、事実的モダリティをモダリティに適応したグラフ畳み込みネットワークを用いて統合することで、事実に基づく視覚的質疑応答（FVQA）のためのマルチレイヤー非均質的グラフネットワークを提案する。質問に関連する証拠を注意機構と反復的推論を用いて動的に選択することで、Visual7W+KBで68.88％のトップ1正答率、OK-VQAで29.20％の全体正答率を達成し、最先端の性能を実現した。

ABSTRACT

Fact-based Visual Question Answering (FVQA) requires external knowledge beyond visible content to answer questions about an image, which is challenging but indispensable to achieve general VQA. One limitation of existing FVQA solutions is that they jointly embed all kinds of information without fine-grained selection, which introduces unexpected noises for reasoning the final answer. How to capture the question-oriented and information-complementary evidence remains a key challenge to solve the problem. In this paper, we depict an image by a multi-modal heterogeneous graph, which contains multiple layers of information corresponding to the visual, semantic and factual features. On top of the multi-layer graph representations, we propose a modality-aware heterogeneous graph convolutional network to capture evidence from different layers that is most relevant to the given question. Specifically, the intra-modal graph convolution selects evidence from each modality and cross-modal graph convolution aggregates relevant information across different modalities. By stacking this process multiple times, our model performs iterative reasoning and predicts the optimal answer by analyzing all question-oriented evidence. We achieve a new state-of-the-art performance on the FVQA task and demonstrate the effectiveness and interpretability of our model with extensive experiments.

研究の動機と目的

• 画像に含まれる内容を超えた外部知識を必要とする事実に基づく視覚的質疑応答（FVQA）の課題に対処すること。
• 従来のFVQAモデルが視覚的・意味的・事実的情報のすべてを均一に扱うため、微細な質問指向の証拠選択が欠如し、ノイズが発生するという限界を克服すること。
• 画像をマルチレイヤー非均質的グラフとしてモデル化することで、視覚的・意味的・事実的モダリティ間の補完的証拠を捉える統一されたフレームワークを開発すること。
• 注意機構とゲート可視化を用いて、最終的な答えに最も寄与するモダリティおよびエンティティを特定することで、解釈可能な推論を可能にすること。
• 構造化されたマルチモーダルグラフ上で反復的・クロスモーダル推論を実施することで、Visual7W+KBおよびOK-VQAを含むベンチマークFVQAデータセットで最先端の性能を達成すること。

提案手法

• 画像を3つの異なるレイヤーを持つマルチレイヤー非均質的グラフとして表現する：視覚的（オブジェクトの外観と関係性）、意味的（高レベルの抽象化）、事実的（ConceptNetからの知識ベースの三項組み）。
• 各モダリティレイヤー内で質問に関連する特徴を抽出するために、モダリティに適応した非均質的グラフ畳み込みネットワーク（HGNN）を用い、モダリティ内グラフ畳み込みを実行する。
• 質問の埋め込みによって誘導されるように、視覚的・意味的・事実的レイヤー間で補完的証拠を集約するクロスモーダルグラフ畳み込みを実施する。
• 各畳み込み層に学習可能な注意機構を統合し、与えられた質問に最も関連する証拠を動的に選択する。
• 複数のモダリティに適応したHGNNレイヤーをスタックすることで、複数のホップにわたる反復的推論を実現し、特徴表現を段階的に精錬する。
• ゲート機構と注意重みを用いて、予測に最も寄与するモダリティおよびエンティティを強調することで、解釈可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 視覚的・意味的・事実的知識を構造的でマルチモーダルな表現として効果的に統合できる視覚的質問応答モデルはどのように構築できるか？
• RQ2 モダリティに適応したグラフ畳み込みネットワークは、複数モダリティにわたる質問に関連する証拠に的確に注目することで、事実に基づくVQAにおける推論性能を向上させることができるか？
• RQ3 単一パスまたは統合埋め込みアプローチと比較して、反復的・マルチレイヤークロスモーダル推論は、答えの正答率をどの程度向上させるか？
• RQ4 注意重みとゲート値をモダリティごとに可視化することで、モデルの推論プロセスを解釈可能にすることができるか？
• RQ5 提案されたマルチレイヤー非均質的グラフフレームワークは、オープンドメインで知識集約型のVQAベンチマークで、既存の最先端モデルを上回る性能を発揮するか？

主な発見

• Muckoは、Visual7W+KBデータセットで68.88％のトップ1正答率および85.13％のトップ3正答率を達成し、アンサンブル手法を含む先行モデルを大きく上回る、新たな最先端の性能を実現した。
• 挑戦的なOK-VQAベンチマークでは、29.20％の全体正答率および30.66％のトップ1正答率を達成し、最先端のVQAモデル（例：BANおよびMUTAN）と知識拡張アンサンブルを含むすべての比較モデルを上回った。
• 単一モデルであるにもかかわらず、アンサンブルベースのKDMN-EnsembleモデルよりもVisual7W+KBで優れた性能を示し、優れた一般化能力と効率性を示した。
• アブレーションスタディの結果、モダリティ内およびクロスモーダル推論の両方が不可欠であり、モダリティに適応した注意機構が性能向上に顕著に寄与することが確認された。
• 注意重みとゲート値の可視化により、モデルの解釈可能性が実証され、予測に寄与するモダリティ固有の貢献が明確に示された。
• マルチレイヤー非均質的グラフ表現は、視覚的・意味的・事実的モダリティ間の補完的証拠を効果的に捉えており、オープンドメインの知識に基づく頑健な推論を可能にした。