[論文レビュー] Explicit Knowledge-based Reasoning for Visual Question Answering

Peng Wang, Qi Wu+3 more|arXiv (Cornell University)|Nov 9, 2015

Multimodal Machine Learning Applications参考文献 41被引用数 97

ひとこと要約

この論文では、視覚的コンテンツを超えた複雑でオープンエンドな質問に答えるために、大規模な知識ベース（KB）を用いた明示的な推論を行う視覚質問応答システムAhabを提案する。視覚的コンセプト検出とSPARQLを用いた構造的KBクエリの統合により、Ahabは正確な回答と検証可能な説明を提供し、人間がアノテートした推論を含む新しいKB-VQAデータセットにおいて、LSTMベースの手法を著しく上回る性能を発揮する。

ABSTRACT

We describe a method for visual question answering which is capable of reasoning about contents of an image on the basis of information extracted from a large-scale knowledge base. The method not only answers natural language questions using concepts not contained in the image, but can provide an explanation of the reasoning by which it developed its answer. The method is capable of answering far more complex questions than the predominant long short-term memory-based approach, and outperforms it significantly in the testing. We also provide a dataset and a protocol by which to evaluate such methods, thus addressing one of the key issues in general visual ques- tion answering.

研究の動機と目的

• LSTMベースのVQAモデルの限界、すなわち説明可能性の欠如と視覚的特徴を超えた推論の不備を是正すること。
• 画像に存在しない外部の世界知識を必要とする質問に応答できるVQAシステムを実現すること。
• 一般化可能で知識集約的なVQA能力をテストするためのデータセットと評価プロトコルの開発。
• 回答をKBのエンティティと関係にリンクさせることで、検証可能な推論トレースを提供すること。
• 明示的で記号的な推論が、複雑なVQAシナリオにおいてエンドツーエンドのニューラルネットワークを上回ることを示すこと。

提案手法

• 深層学習を用いて画像から視覚的コンセプト（物体、属性、シーンクラス）を検出し、DBpediaなどの知識ベース内のエンティティにマッピングする。
• 自然言語の質問をKBをたどるSPARQLクエリに変換することで、構造的 fact の上でのマルチホップ推論を可能にする。
• エンティティのアライメントと意味的マッチングを通じて、視覚的情報とKB由来の情報を統合し、統一された知識表現を構築する。
• 人間の評価者による推論パスの生成と検証により、論理的整合性と事実の正確性を保証する。
• Quepyを用いたモジュラーパイプラインにより、複数画像比較やコンセプトベースの画像検索を含む、さまざまな質問タイプへの柔軟な拡張が可能である。
• KB内でのクエリ実行パスのトレースにより説明を提供し、回答を特定の事実や関係にリンクさせることで、説明の可視化を実現する。

実験結果

リサーチクエスチョン

• RQ1 外部知識ベースを用いて、画像の視覚的内容を超えた明示的でマルチステップの推論が可能なVQAシステムは構築可能か？
• RQ2 知識ベース拡張型VQAシステムは、複雑でオープンエンドな質問において、エンドツーエンドのLSTMベースのモデルと比較してどの程度の性能を示すか？
• RQ3 システムは人間が理解可能な説明を生成できるか？また、その説明の正確性はどの程度か？
• RQ4 複数の画像や直接的に視覚的に見えない抽象的関係を含む質問に対して、システムはどの程度一般化可能か？
• RQ5 構造的知識は、視覚質問応答における推論の頑健性と回答の正確性にどのような影響を与えるか？

主な発見

• AhabはLSTMベースのベースラインと比較して顕著に高い正確性を達成し、人間評価者による評価で80％以上の推論が正しいとされた。
• LSTMモデルの回答の50％以上が「完全に誤り」（レベル1）と分類された一方、Ahabは約20％のケースで「部分的に正しい」から「完全に正しい」（レベル2〜5）の範囲の回答を生成した。
• システムは、猫と犬が両方とも哺乳類であるという分類知識を必要とする複雑な質問を、画像に明示的に記載がなくても正しく回答した。
• 複数画像の質問において、視覚的に異なる画像（例：空港と鉄道駅）間で「輸送インfra」のようなシーンレベルの共通コンセプトを正しく特定した。
• コンセプトベースの画像検索において、属性アライメントに基づき、与えられたコンセプト（例：「シェフ」や「プログラマー」）に対して最も関連性の高い画像を正しく同定した。
• 「視覚的」、「共通の常識」、「KB知識」の3種類に分類された質問を含むKB-VQAデータセットにより、推論能力の公平で包括的な評価が可能になった。