[論文レビュー] Learning Visual Knowledge Memory Networks for Visual Question Answering

Su Zhou, Chen Zhu+4 more|arXiv (Cornell University)|Jun 13, 2018

Multimodal Machine Learning Applications参考文献 46被引用数 14

ひとこと要約

本稿では、外部知識ベースからの構造的視覚的知識をメモリネットワークを介して深層視覚特徴と統合するエンドツーエンドフレームワーク、Visual Knowledge Memory Networks (VKMN) を提案する。VKMN は知識トリプルと視覚特徴をキーバリューメモリ構造に統合的に埋め込み、知識推論を要する質問において顕著に優れた性能を発揮し、VQA v2.0 で全体正解率 64.36%、'other' 答えタイプで 57.79% を達成した。

ABSTRACT

Visual question answering (VQA) requires joint comprehension of images and natural language questions, where many questions can't be directly or clearly answered from visual content but require reasoning from structured human knowledge with confirmation from visual content. This paper proposes visual knowledge memory network (VKMN) to address this issue, which seamlessly incorporates structured human knowledge and deep visual features into memory networks in an end-to-end learning framework. Comparing to existing methods for leveraging external knowledge for supporting VQA, this paper stresses more on two missing mechanisms. First is the mechanism for integrating visual contents with knowledge facts. VKMN handles this issue by embedding knowledge triples (subject, relation, target) and deep visual features jointly into the visual knowledge features. Second is the mechanism for handling multiple knowledge facts expanding from question and answer pairs. VKMN stores joint embedding using key-value pair structure in the memory networks so that it is easy to handle multiple facts. Experiments show that the proposed method achieves promising results on both VQA v1.0 and v2.0 benchmarks, while outperforms state-of-the-art methods on the knowledge-reasoning related questions.

研究の動機と目的

• 視覚認識を超える外部知識を要する質問に対する視覚的質疑応答（VQA）の課題に対処すること。
• 視覚的認識と常識的・百科事典的知識の間のギャップを、視覚的および知識モalityの両方を統合的に推論できる仕組みで埋めること。
• 与えられた質問および画像に関連する複数の知識事実を効率的に格納・検索できるメモリネットワークアーキテクチャを開発すること。
• '見えない目的'の質問、すなわち直接的な視覚的検査ではなく外部知識からの推論を要する質問の性能を向上させること。

提案手法

• VKMN は、知識トリプル（主語、関係、目的語）と画像からの深層畳み込み特徴を同じ表現空間に統合的に埋め込むことで、視覚的知識特徴を構築する。
• キーバリューメモリネットワークを用いて複数の知識事実を格納・検索する。ここで、キーデータは質問および画像に依存する表現から得られ、バリューデータは統合的視覚・知識埋め込みとなる。
• 二重アテンションメカニズムを採用：視覚アテンションにより関連する画像領域に注目し、質問アテンションにより入力質問内の関連語を強調する。
• 知識事実は、質問に基づいて事前に構築された視覚的知識ベース（例：Visual Genome）から抽出され、その後視覚特徴と同じ埋め込み空間に投影される。
• 最終的な答えは、メモリコンテンツに対するアテンションを用いて予測され、視覚的および外部知識の両方を統一的かつ微分可能フレームワーク内で推論可能となる。
• ネットワーク全体は、答えのカテゴリに対する交差エントロピー損失を用いてエンドツーエンドで学習され、視覚特徴抽出、知識取得、答え予測の同時最適化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 構造的外部知識をどのように深層視覚特徴と効果的に統合することで、視覚的質疑応答における推論性能を向上させられるか？
• RQ2 モデルが視覚的コンテンツと知識事実を統合的に推論できるメカニズムは何か？ これにより、複雑で知識依存的な質問への対処が可能になるか？
• RQ3 メモリネットワークアーキテクチャが、与えられた質問・画像ペアに対して複数の関連知識事実を効率的に格納・検索できるか？
• RQ4 本手法は、視覚認識を超える推論を要する「見えない目的」の質問に対して、どのように性能を発揮するか？
• RQ5 視覚的および知識的特徴の統合は、事実でないオープンエンドの VQA 質問において、性能向上にどの程度寄与するか？

主な発見

• VKMN は VQA v2.0 テストスタンダードセットで全体正解率 64.36% を達成し、同じベンチマークで MCB や MLB といった最先端モデルを上回った。
• 'other' 答えタイプ（知識推論を要する質問）では 57.79% の正解率を記録し、同じセットで MCB（53.36%）および MLB（52.95%）を顕著に上回った。
• 単一モデルとしての VKMN の性能は、上位3位の VQA v2.0 チャレンジ参加結果の最高単一モデル（62.27%）を上回っており、特に 'other' タイプにおいては重いアンサンブル依存を避けた優れた一般化性能を示した。
• SVA モデルと組み合わせた VKMN は全体正解率 66.67% を達成し、異なる答えタイプにおいて両モデルの相補的な強みを示した。
• 異なるオブジェクトサイズのグループにおいて、VKMN は 'other' 答えタイプについて、全サイズレンジで MLB を一貫して上回り、ターゲットオブジェクトのスケールにかかわらず頑健であることを示した。
• アブレーションスタディにより、VKMN の性能向上は、主にメモリ機構による知識と視覚特徴の効果的統合によるものであり、単に特徴抽出の向上によるものではないことが確認された。