[論文レビュー] From Two Graphs to N Questions: A VQA Dataset for Compositional Reasoning on Vision and Commonsense.

Difei Gao, Ruiping Wang+2 more|arXiv (Cornell University)|Aug 8, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 6

ひとこと要約

本稿では、視覚的シーングラフと外部の知識グラフを統合して、複雑でマルチホップな質問を生成する、構成的推論を目的としたVisual Question Answering（VQA）データセットCRICを紹介する。本稿は、視覚と一般常識的知識の両方を統合的に推論できる新規モデルを提案し、CRIC上で58.38%の精度を達成。これは最先端手法を6.12ポイント上回る結果である。

ABSTRACT

Visual Question Answering (VQA) is a challenging task for evaluating the ability of comprehensive understanding of the world. Existing benchmarks usually focus on the reasoning abilities either only on the vision or mainly on the knowledge with relatively simple abilities on vision. However, the ability of answering a question that requires alternatively inferring on the image content and the commonsense knowledge is crucial for an advanced VQA system. In this paper, we introduce a VQA dataset that provides more challenging and general questions about Compositional Reasoning on vIsion and Commonsense, which is named as CRIC. To create this dataset, we develop a powerful method to automatically generate compositional questions and rich annotations from both the scene graph of a given image and some external knowledge graph. Moreover, this paper presents a new compositional model that is capable of implementing various types of reasoning functions on the image content and the knowledge graph. Further, we analyze several baselines, state-of-the-art and our model on CRIC dataset. The experimental results show that the proposed task is challenging, where state-of-the-art obtains 52.26% accuracy and our model obtains 58.38%.

研究の動機と目的

• 既存のVQAベンチマークが視覚的コンテンツと外部知識の両方における統合的推論を十分に反映していないというギャップを埋めるため。
• 複雑な質問応答に必要な、画像の内容と一般常識的知識の間を交互に推論する必要があるデータセットを開発するため。
• 視覚的表現と知識表現の両方における多様な推論機能を実行できる統一モデルを提案するため。
• 構成的推論の難易度を、新しいベンチマークとベースライン比較を通じて評価するため。

提案手法

• 画像から得られるシーングラフと外部知識グラフを組み合わせることで、構成的質問を自動生成する手法を開発した。
• 視覚的グラフと知識グラフの構造的・意味的整合性を活用し、複数ステップの推論を要する質問を生成する。
• 視覚的表現と知識表現を統合的に符号化し、両方のグラフ上で注意メカニズムを用いて推論を行う新しいニューラルモデルを設計した。
• 動的ルーティングにより、グラフ構造を横断して注意を配分することで、比較、推論、因果的推論などの多様な推論機能をサポートする。
• グラフベースのパイプラインから生成された質問-回答ペairを用いた交差エントロピー損失を用いたエンドツーエンド最適化により学習を実施した。
• 知識グラフと視覚的グラフの構成的構造を活用することで、未観測の質問タイプに対してもゼロショット一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的コンテンツと一般常識的知識の両方を推論に要する、多様で構成的なVQA質問を自動的に生成する方法は何か？
• RQ2 複雑なVQAタスクにおいて、視覚的推論と知識ベース推論の相対的寄与度はどの程度か？
• RQ3 統一モデルは、視覚的グラフと知識グラフの両方で多様な種類の推論を効果的に行えるか？
• RQ4 構成的推論に重点を置いたベンチマークにおいて、提案モデルは最先端手法と比較してどのように差をつけるか？
• RQ5 CRICデータセットは、現在のVQAシステムの限界をどの程度明らかにするか？

主な発見

• 提案されたCRICデータセットは、画像の内容と一般常識的知識の間を交互に推論する必要があるという、VQAにおける新たな複雑さを導入した。
• 最先端モデルはCRICでわずか52.26%の精度にとどまり、構成的推論における大きな改善余地があることが示された。
• 提案モデルは58.38%の精度を達成し、新ベンチマーク上で既存手法を明確に上回る性能を示した。
• 因果的推論、比較的推論、推論的推論などの多様な推論タイプを処理できる能力は、モデルの一般化能力を示している。
• 結果から、現在のVQAシステムは視覚と知識を横断するマルチホップ推論に苦戦していることが確認され、より優れたアーキテクチャの必要性が浮き彫りになった。
• 自動データ生成パイプラインは、豊富なアノテーションを備えた高品質で多様な質問を効果的に生成でき、スケーラブルなベンチマークの実現に貢献した。