[論文レビュー] KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA

Kenneth Marino, Xinlei Chen+3 more|arXiv (Cornell University)|Dec 20, 2020

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

KRISPは、視覚言語事前学習から得られる暗黙的知識と、複数のソースからの明示的記号的知識（知識グラフ）を統合する新しいフレームワークを提案する。このフレームワークは、遅延統合とグラフベースの推論により記号的意味を保持することで、オープンドメイン知識ベースVQAの性能を向上させる。OK-VQAにおいて、v1.1では38.90%、v1.0では38.35%の精度を達成し、従来手法を顕著に上回る最先端の性能を実現した。

ABSTRACT

One of the most challenging question types in VQA is when answering the question requires outside knowledge not present in the image. In this work we study open-domain knowledge, the setting when the knowledge required to answer a question is not given/annotated, neither at training nor test time. We tap into two types of knowledge representations and reasoning. First, implicit knowledge which can be learned effectively from unsupervised language pre-training and supervised training data with transformer-based models. Second, explicit, symbolic knowledge encoded in knowledge bases. Our approach combines both - exploiting the powerful implicit reasoning of transformer models for answer prediction, and integrating symbolic representations from a knowledge graph, while never losing their explicit semantics to an implicit embedding. We combine diverse sources of knowledge to cover the wide variety of knowledge needed to solve knowledge-based questions. We show our approach, KRISP (Knowledge Reasoning with Implicit and Symbolic rePresentations), significantly outperforms state-of-the-art on OK-VQA, the largest available dataset for open-domain knowledge-based VQA. We show with extensive ablations that while our model successfully exploits implicit knowledge reasoning, the symbolic answer module which explicitly connects the knowledge graph to the answer vocabulary is critical to the performance of our method and generalizes to rare answers.

研究の動機と目的

• 画像やトレーニングデータに存在しない知識が必要となるオープンドメイン知識ベースVQAの課題に対処すること。
• 多様な知識ベースから得られる明示的記号的知識と、視覚言語事前学習から得られる暗黙的知識を統合することで、OK-VQAの性能を向上させること。
• 埋め込み空間での情報損失を避けるために、推論プロセス全体を通じて記号的知識の解釈可能性と意味的明確性を保持すること。
• 記号的知識統合が一般化性能、特にレアな答えに対する性能向上に不可欠であることを示すこと。
• マルチモodal表現と構造的知識を効果的に統合する統一アーキテクチャを構築すること。

提案手法

• KRISPは、大規模データで事前学習された視覚言語BERTベースのトランスフォーマー・モデルを用い、画像およびテキスト入力から暗黙的知識を抽出する。
• DBPedia、ConceptNet、VisualGenome、hasPart KBの4つの異なるソースを統合することで、多様な事実ドメインをカバーする非均質な知識グラフを構築する。
• モデルはグラフニューラルネットワークを用いて、記号的事実の間で伝搬および推論を行い、推論プロセス全体を通じてノードレベルの表現を維持する。
• 回答予測は、個々の知識グラフノードに対するアテンションを用いて実行され、記号的事実に基づいた明示的かつ解釈可能な推論を可能にする。
• マルチモーダルトランスフォーマーと記号的グラフネットワークの出力を遅延統合戦略で統合し、最終的な回答予測を生成する。
• 一般化性能と耐障害性を向上させるために、VQA、マスキング画像テキスト再構成、知識グラフ推論の3つのタスクを共同で事前学習する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたトランスフォーマーから得られる暗黙的知識と、知識グラフからの明示的記号的知識を統合することで、オープンドメインVQAの性能が向上するか？
• RQ2 推論パイプライン全体で記号的意味を保持することで、モデル性能およびレアな答えへの一般化性能にどのような影響を与えるか？
• RQ3 暗黙的知識と記号的知識の相対的寄与度は、知識ベースVQA質問の回答にどのように影響するか？
• RQ4 視覚言語タスクと知識グラフタスクを共同で事前学習することで、ゼロショットまたはフェイントショット一般化性能が向上するか？
• RQ5 遅延統合戦略による記号的知識と暗黙的推論の統合は、エンドツーエンド統合と比較して、精度および解釈可能性の観点で優れているか？

主な発見

• KRISPはOK-VQA v1.1で38.90%の精度を達成し、33.66%の従来の最先端手法を顕著に上回る、新たな最先端性能を樹立した。
• 記号的知識モジュールは、特にレアな答えに対して性能を左右する上で不可欠であることが、アブレーションスタディで示された。このモジュールを削除すると、精度が顕著に低下した。
• VQAタスクと知識グラフ推論タスクを共同で事前学習することで、より良い一般化性能が得られ、完全に事前学習されたKRISPモデルは38.90%の精度を達成した。
• モデルは個々の知識グラフノードに基づいて回答を予測することで、明示的な推論を示し、意思決定の解釈可能性とトレーサビリティを実現した。
• グラフネットワーク部自体を事前学習することで性能が向上したため、記号的知識表現がエンドツーエンド最適化の恩恵を受けることが示された。
• 知識グラフ内のすべての事実に共通する記号的推論論理を有するため、訓練時に見られなかったレアなエンティティや事実に対しても、良好な一般化性能を示した。