[論文レビュー] Seeing is Knowing! Fact-based Visual Question Answering using Knowledge Graph Embeddings

Kiran Ramnath, Mark Hasegawa‐Johnson|arXiv (Cornell University)|Dec 31, 2020

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文では、不完全な知識グラフ（KG）上で推論できるfactベースの視覚的質疑応答（FVQA）フレームワーク「Seeing is Knowing（SiK）」を提案する。SiKは知識グラフ埋め込みを活用し、必要な事実が欠落している場合でも正確な回答予測を可能にする。'Image-as-Knowledge'表現とCoAttentionメカニズムを導入することで、O(m)の推論複雑度を達成し、SOTA手法のO(N log N)と比べて著しく高速化される。また、欠落エッジ推論タスクにおいてSOTAを26%の絶対的向上で上回る。

ABSTRACT

Fact-based Visual Question Answering (FVQA), a challenging variant of VQA, requires a QA-system to include facts from a diverse knowledge graph (KG) in its reasoning process to produce an answer. Large KGs, especially common-sense KGs, are known to be incomplete, i.e., not all non-existent facts are always incorrect. Therefore, being able to reason over incomplete KGs for QA is a critical requirement in real-world applications that has not been addressed extensively in the literature. We develop a novel QA architecture that allows us to reason over incomplete KGs, something current FVQA state-of-the-art (SOTA) approaches lack due to their critical reliance on fact retrieval. We use KG Embeddings, a technique widely used for KG completion, for the downstream task of FVQA. We also employ a new image representation technique we call 'Image-as-Knowledge' to enable this capability, alongside a simple one-step CoAttention mechanism to attend to text and image during QA. Our FVQA architecture is faster during inference time, being O(m), as opposed to existing FVQA SOTA methods which are O(N log N), where m = number of vertices, N = number of edges = O(m^2). KG embeddings are shown to hold complementary information to word embeddings: a combination of both metrics permits performance comparable to SOTA methods in the standard answer retrieval task, and significantly better (26% absolute) in the proposed missing-edge reasoning task.

研究の動機と目的

• 不完全な知識グラフにおいて、必要な事実が欠落している場合に既存手法が失敗するFVQAにおける重要なギャップを解消すること。
• 完璧な事実取得に依存しない、不完全なKG上で推論可能な堅牢なFVQAアーキテクチャを構築すること。
• 視覚入力をKG埋め込みベクトルのスパンとして表現する'Image-as-Knowledge'を導入し、マルチモーダルな整合性を向上させること。
• 回答予測中にテキストクエリと視覚的エンティティを同時に注目するCoAttentionメカニズムを設計すること。
• KG内の頂点数mを用いて、複雑度をO(N log N)からO(m)に低減させることで、より高速な推論を達成すること。

提案手法

• KG内のトリプルスコアリングに、Entity-Relation Multi-Layer Perceptron（ERMLP）を用い、TransE や RotatE などの距離ベースのモデルにより学習されたKG埋め込みを利用する。
• 画像に検出されたエンティティのKG埋め込みベクトルを統合することで、'Image-as-Knowledge'として表現し、視覚的コンセプトの意味的スパンを形成する。
• クエリ語を用いてエンティティベクトルの重み付き組み合わせを計算する1ステップのCoAttentionメカニズムを適用し、統合された視覚的・テキスト的表現を生成する。
• 推論時にKGを照会できるように、ゲート付きファージョンを用いて同一のSiKモデルを2つ訓練する。これにより、事実が欠落している場合でも、堅牢な回答取得が可能になる。
• 語彙的類似度（語彙埋め込みからのもの）とKG意味的類似度（KG埋め込みからのもの）を複合スコア関数で統合し、検索精度を向上させる。
• 語彙的類似度、KG埋め込み類似度、画像-エンティティ類似度の複数の類似度メトリクスを重み付き統合する学習可能なスコア関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 必要な事実がKGから欠落している状況下でも、知識グラフ埋め込みがFVQAにおける効果的推論を可能にするか？
• RQ2 提案された'Image-as-Knowledge'表現は、FVQAにおける従来の視覚符号化手法と比較してどのように異なるか？
• RQ3 KG埋め込みと語彙埋め込みを組み合わせることで、完全なKGおよび不完全なKG設定下での回答検索性能にどのような影響を与えるか？
• RQ4 提案されたアーキテクチャは、既存のSOTA FVQA手法と比較して、より高い推論効率を達成するか？
• RQ5 現実世界のシナリオにおいて、画像、テキスト、KGのマルチモーダルバイアスがどのように相互作用し、モデルの予測に影響を与えるか？

主な発見

• SiKは、SOTA手法と比較して、欠落エッジ推論タスクで26%の絶対的向上を達成し、KGの不完全性に対して強い耐性を示している。
• 語彙的類似度とKG埋め込み類似度を組み合わせた複合スコア関数は、正解事実が存在する状況で単一のSiKと比較して、回答検索精度を6ポイント向上させる。
• 'Image-as-Knowledge'表現は、マルチホットエンコーディングと比較して3ポイントの精度向上を達成しており、KG埋め込みスパンによって意味的関係をより効果的に捉えていることが示された。
• SiKの推論複雑度はO(m)であり、mはKG内の頂点数を表す。これは、特に大規模KGにおいて、O(N log N)のSOTA手法と比較して著しく高速である。
• モデルの主な失敗モードは、意味的に類似したが誤ったエンティティ（例：親/子関係、マルチホップ関連エンティティ）を予測することに起因しており、細粒度のエンティティ識別に限界があることが示唆された。
• 倫理的分析から、特にKG内の低次数エンティティに起因するマルチモーダルバイアスが強化される可能性があることが判明した。例えば、KG内の不適切な場所リンクにより、ゾウの画像に対して'Zimbabwe'が誤って予測された。