[論文レビュー] Explainable High-order Visual Question Reasoning: A New Benchmark and Knowledge-routed Network

Qingxing Cao, Bailin Li+2 more|arXiv (Cornell University)|Sep 23, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 9

ひとこと要約

本論文は、画像のシーングラフと常識知識ベースを用いたマルチステップ推論を重視する、説明可能な高次元視覚質問応答（VQA）のためのHVQRベンチマークを紹介する。知識ルーティング型モジュラーネットワーク（KM-net）を提案し、クエリレイアウトを用いて推論経路を明示的にモデル化することで、新しいベンチマークにおいて最先端の精度と説明の質を達成し、複雑で知識依存的な質問において従来モデルを著しく上回る性能を発揮する。

ABSTRACT

Explanation and high-order reasoning capabilities are crucial for real-world visual question answering with diverse levels of inference complexity (e.g., what is the dog that is near the girl playing with?) and important for users to understand and diagnose the trustworthiness of the system. Current VQA benchmarks on natural images with only an accuracy metric end up pushing the models to exploit the dataset biases and cannot provide any interpretable justification, which severally hinders advances in high-level question answering. In this work, we propose a new HVQR benchmark for evaluating explainable and high-order visual question reasoning ability with three distinguishable merits: 1) the questions often contain one or two relationship triplets, which requires the model to have the ability of multistep reasoning to predict plausible answers; 2) we provide an explicit evaluation on a multistep reasoning process that is constructed with image scene graphs and commonsense knowledge bases; and 3) each relationship triplet in a large-scale knowledge base only appears once among all questions, which poses challenges for existing networks that often attempt to overfit the knowledge base that already appears in the training set and enforces the models to handle unseen questions and knowledge fact usage. We also propose a new knowledge-routed modular network (KM-net) that incorporates the multistep reasoning process over a large knowledge base into visual question reasoning. An extensive dataset analysis and comparisons with existing models on the HVQR benchmark show that our benchmark provides explainable evaluations, comprehensive reasoning requirements and realistic challenges of VQA systems, as well as our KM-net's superiority in terms of accuracy and explanation ability.

研究の動機と目的

• 既存のVQAベンチマークが答えの正確さにのみ注目しており、推論プロセスの評価が欠如しているという限界を是正すること。
• 既存データセットにおけるバイアスの強い質問-答え相関に起因するモデルの過学習を回避するため、未知の知識トリプルへの一般化を強制すること。
• 答えの正確さと、明示的なマルチステップ推論評価を通じた推論ステップの解釈可能性の両方を評価するベンチマークの構築。
• 外部知識ベースおよびシーングラフからの知識ルーティングにより、明示的でモジュラーディスプレイ可能かつ説明可能な推論を実現するモデルの設計。
• 各知識トリプルがすべての質問において一度しか出現しないようにすることで、記憶を避ける現実的な挑戦をVQAシステムに提供すること。

提案手法

• HVQRベンチマークは、画像のシーングラフからの1つまたは2つの関係トリプルと、外部の常識知識ベースを用いて質問を構築し、複雑でマルチホップ推論を要するタスクを形成する。
• 各画像ごとにシーングラフと知識ベースのトリプルを統合することで、動的に知識グラフが構築され、視覚的および外部知識の両方を対象とした推論が可能になる。
• 提案されたKM-netモデルは、知識グラフ上の推論経路を表すシンボリックなクエリレイアウトに質問を解析する。
• モデルは、各モジュールが推論ステップに対応するモジュラーネットワークアーキテクチャを採用しており、知識グラフ内の関連するエンティティと関係に注目する。
• テスト時における推論レイアウトの予測を可能にするクエリ推定器を採用し、正解レイアウトの監視なしにエンドツーエンド推論を実現する。
• 予測された支援トリプルのリCALLを評価する説明評価指標を導入し、推論プロセスの診断的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元視覚質問応答において、答えの正確さと推論プロセスの解釈可能性の両方を効果的に評価できるVQAベンチマークは構築可能か？
• RQ2 訓練データを記憶しないで、視覚的および常識的知識に基づいて明示的かつマルチステップの推論を実行できるモデルはどのように設計できるか？
• RQ3 外部知識を統合することで、構成的構造を持つ複雑な質問に対する性能はどの程度向上するか？
• RQ4 モデルが推論経路（クエリレイアウト）を予測する能力が、全体の性能と説明可能性に与える影響はいかほどか？
• RQ5 モジュラーで知識ルーティング型のアーキテクチャは、推論に特化したVQAタスクにおいてエンドツーエンドモデルを上回る性能を発揮できるか？

主な発見

• 提案されたKM-netは、HVQRベンチマークで全体の答えの正確さが85.12%を達成し、すべての先行最先端モデルを著しく上回る。
• 知識ベース関連の質問（特にqtype 2およびqtype 5）において、2番目に優れた手法よりも28.05%の向上を達成し、強力な知識活用能力を示している。
• 説明評価指標によると、KM-netは支援トリプルの平均リCALLが23.08%を達成しており、予測された推論と正解事実との間の強い整合性を示している。
• アブレーションスタディの結果、シーングラフの理解が極めて重要であることが確認された。テスト時にシーングラフのアノテーションが利用できないと性能は25.19%に低下し、モデルが正確な視覚的認識に依存していることが示された。
• 2次元質問に対する性能は、2番目に優れた手法のほぼ2倍に達しており、優れたマルチホップ推論能力を証明している。
• FULL設定では100%の正確さを達成しており、HVQRベンチマークの構築およびラベル付けプロセスの正しさと一貫性が検証された。