[論文レビュー] Visual Query Answering by Entity-Attribute Graph Matching and Reasoning

Peixi Xiong, Huayi Zhan+3 more|arXiv (Cornell University)|Mar 16, 2019

Multimodal Machine Learning Applications参考文献 39被引用数 4

ひとこと要約

本論文は、画像と自然言語クエリをそれぞれエンティティ-属性グラフ（GEA および Q）としてモデル化し、欠落している属性を補完するために推論グラフ（GI）を用いる、グラフベースの視覚的質疑応答（VQA）手法を提案する。クエリグラフを強化されたエンティティ-属性グラフと照合することにより、解釈可能な推論が実現され、豊富なアノテーションを備えた新規の Soccer-VQA データセットにおいて、最先端のモデルを上回る性能を発揮する。

ABSTRACT

Visual Query Answering (VQA) is of great significance in offering people convenience: one can raise a question for details of objects, or high-level understanding about the scene, over an image. This paper proposes a novel method to address the VQA problem. In contrast to prior works, our method that targets single scene VQA, replies on graph-based techniques and involves reasoning. In a nutshell, our approach is centered on three graphs. The first graph, referred to as inference graph GI , is constructed via learning over labeled data. The other two graphs, referred to as query graph Q and entity-attribute graph GEA, are generated from natural language query Qnl and image Img, that are issued from users, respectively. As GEA often does not take sufficient information to answer Q, we develop techniques to infer missing information of GEA with GI . Based on GEA and Q, we provide techniques to find matches of Q in GEA, as the answer of Qnl in Img. Unlike commonly used VQA methods that are based on end-to-end neural networks, our graph-based method shows well-designed reasoning capability, and thus is highly interpretable. We also create a dataset on soccer match (Soccer-VQA) with rich annotations. The experimental results show that our approach outperforms the state-of-the-art method and has high potential for future investigation.

研究の動機と目的

• エンドツーエンドのニューラルネットワークにおけるVQAの限界を克服するため、より解釈可能で推論能力を有するアプローチを導入すること。
• 視覚的シーンと自然言語クエリを、構造的なエンティティ-属性グラフとしてモデル化し、正確な意味的マッチングを実現すること。
• ラベル付きデータで学習された推論グラフを用いて、不完全なエンティティ-属性グラフを強化し、欠落した属性を回復すること。
• 複雑な視覚的クエリに応じて関連する視覚的要素を特定するためのグラフマッチング機構を開発すること。
• 評価および今後の研究を支援するための、新規で豊富なアノテーションを備えたVQAデータセット（Soccer-VQA）を構築すること。

提案手法

• 本手法は、ラベル付きVQAデータから推論グラフ（GI）を構築し、共通する属性関係を学習し、エンティティ-属性グラフ（GEA）における欠落した属性を推論する。
• 依存構文解析および意味的役割ラベリングを用いてエンティティと属性を抽出することで、自然言語クエリからクエリグラフ（Q）を生成する。
• オブジェクト検出および属性予測モデルを用いて画像特徴からエンティティ-属性グラフ（GEA）を構築し、視覚的エンティティとその属性を捉える。
• GEAにおける欠落した属性は、GEA内の部分グラフとGI内の部分グラフを、微分可能グラフマッチング機構を用いて照合することで推論する。
• グラフマッチングモジュールは、クエリグラフ Q を強化された GEA と照合し、最適なマッチングを行う視覚的要素を特定することで答えを同定する。
• 全体のフレームワークは、グラフマッチングの微分可能リラクゼーションを用いてエンドツーエンドで訓練され、答えの正確性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワークと比較して、グラフベースの推論は、視覚的質疑応答における解釈可能性と性能を向上させるか？
• RQ2 ラベル付きデータで学習された推論グラフは、画像から抽出されたエンティティ-属性グラフにおける欠落した属性を、どの程度効果的に補完できるか？
• RQ3 クエリと強化されたエンティティ-属性グラフとの間のグラフマッチングは、複雑な視覚的クエリに対する答えの正確性をどの程度向上させるか？
• RQ4 新たに作成された豊富なアノテーションを備えたデータセット（Soccer-VQA）は、より正確で多様なVQAの評価を支援できるか？
• RQ5 提案手法は、現実世界の多様な視覚的および言語的パターンにどの程度一般化できるか？

主な発見

• 提案手法は、Soccer-VQA データセットにおいて最先端のVQAモデルを上回り、複雑な視覚的推論タスクにおける優れた正確性を示した。
• 推論グラフの使用により、レアまたは曖昧な属性の補完が顕著に向上した。
• グラフマッチング機構により、クエリの意味と視覚的証拠との間で正確なアライメントが実現され、答えの関連性が向上した。
• ブラックボックスなニューラルネットワークとは異なり、答えに寄与する視覚的エンティティおよび属性が明示的に可視化されるため、高い解釈性を達成した。
• 新たに作成された Soccer-VQA データセットは、豊富で詳細なアノテーションを備えており、複雑な推論を支援し、モデルの一般化性能を向上させた。
• 定量的評価では、特に構成的および属性ベースのクエリにおいて、ベースラインモデルと比較して顕著なVQA正確性の向上が確認された。