[論文レビュー] OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge

Kenneth Marino, Mohammad Rastegari+2 more|arXiv (Cornell University)|May 31, 2019

Multimodal Machine Learning Applications参考文献 56被引用数 10

ひとこと要約

本論文では、画像の内容を超えた外部知識を要する視覚的質問応答（VQA）ベンチマーク、OK-VQAを紹介する。このベンチマークは、Wikipediaのような非構造的知識源を用いた推論を必要とする14,000件を超える質問を含む。最先端のVQAモデルは、このデータセットにおいて著しく性能を低下させることから、外部知識の取得と推論を統合できるモデルの必要性が浮き彫りになる。

ABSTRACT

Visual Question Answering (VQA) in its ideal form lets us study reasoning in the joint space of vision and language and serves as a proxy for the AI task of scene understanding. However, most VQA benchmarks to date are focused on questions such as simple counting, visual attributes, and object detection that do not require reasoning or knowledge beyond what is in the image. In this paper, we address the task of knowledge-based visual question answering and provide a benchmark, called OK-VQA, where the image content is not sufficient to answer the questions, encouraging methods that rely on external knowledge resources. Our new dataset includes more than 14,000 questions that require external knowledge to answer. We show that the performance of the state-of-the-art VQA models degrades drastically in this new setting. Our analysis shows that our knowledge-based VQA task is diverse, difficult, and large compared to previous knowledge-based VQA datasets. We hope that this dataset enables researchers to open up new avenues for research in this domain. See http://okvqa.allenai.org to download and browse the dataset.

研究の動機と目的

• 既存のVQAベンチマークが視覚認識に限定されているという限界を是正すること。
• 知識ベースの視覚的質問応答のための大規模で多様性に富み、かつ挑戦的なベンチマークを構築すること。
• VQAモデルがWikipediaのような外部知識ソースを取得し、推論する能力を評価すること。
• 最先端のVQAモデルがこの新しいベンチマークで失敗することを示し、推論および知識統合の向上の必要性を示すこと。

提案手法

• OK-VQAデータセットは、画像の内容だけから答えを導くことができない14,000件を超える質問・回答ペアから構成される。
• 質問は、画像と外部知識のみを用いて回答する必要があるとされる人間のアノテーターから収集され、知識依存性を保証する。
• 外部知識はWikipediaの記事から取得され、キーワードベースのクエリによる検索で関連文を抽出することで、現実の情報取得を模擬する。
• ベースラインモデルであるMUTAN+ANは、視覚的特徴と外部知識取得（ArticleNet）を組み合わせ、回答予測を向上させる。
• 性能評価にはVQAスコアを用い、視覚的特徴および外部知識の有無を比較する。
• アブレーションスタディでは、異なるResNetアーキテクチャと訓練データセットサイズの変化を用いて、モデルの頑健性とデータセットの難易度を分析する。

実験結果

リサーチクエスチョン

• RQ1 最先端のVQAモデルは、画像の内容を超えた外部知識を要する質問に一般化できるか？
• RQ2 外部知識の取得が必須となる質問に対して、VQAモデルの性能はどの程度低下するか？
• RQ3 Wikipediaのような非構造的知識ソースは、知識集約型の質問においてVQA性能をどの程度向上できるか？
• RQ4 視覚的特徴は知識ベースのVQAにおいて果たす役割は何か？また、その欠如が性能に与える影響は？
• RQ5 訓練データのサイズは、この挑戦的なベンチマークにおけるモデル性能にどのように影響するか？

主な発見

• MUTANを含む最先端のVQAモデルは、OK-VQAにおいて顕著な性能低下を示し、標準ベンチマークでの70％を超えるスコアがOK-VQAでは27％未満にまで低下する。
• Q-Onlyベースライン（視覚的入力なしの質問特徴のみ）は14.93％のVQAスコアを達成し、視覚的グランドイングが不可欠であり、回答バイアスが効果的に低減されていることを確認する。
• ResNet152特徴を用いることでMUTANはOK-VQAで26.41％のスコアを達成するが、より深いネットワークによる性能向上は限定的であり、主な課題は視覚的特徴の質ではなく、知識取得にあると示唆する。
• 外部知識取得を統合したMUTAN+ANモデルは、MUTAN単体よりも優れた性能を示し、外部知識が知識集約型の質問における推論を顕著に向上させることを示す。
• 訓練データセットサイズのアブレーションでは、データ量の増加に伴い性能が向上するが、フルデータセットを用いても人間水準の性能には遠く及ばないため、データセットの難易度が顕著に示される。
• 定性的分析により、ArticleNetは科学、調理、ブランドなどのカテゴリの質問に対して関連するWikipedia文を効果的に取得していることが確認され、取得メカニズムの有効性が裏付けられる。