[論文レビュー] Visual Question Reasoning on General Dependency Tree

Qingxing Cao, Xiaodan Liang+3 more|arXiv (Cornell University)|Mar 31, 2018

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、質問の一般化された依存木解析木を活用して、解釈可能な視覚的質疑応答を実現するための敵対的構成モジュラーネットワーク（ACMN）を提案する。ACMNは、修飾関係のための敵対的アテンションモジュールと、節化述語関係のためのリーマンス構成モジュールを用い、手動で作成されたルールやアノテーションを必要とせず、グローバルで推論に配慮した視覚的・言語的アライメントを実現する。モデルは関係的VQAベンチマークで最先端の性能を達成し、優れた解釈可能性を有する。

ABSTRACT

The collaborative reasoning for understanding each image-question pair is very critical but under-explored for an interpretable Visual Question Answering (VQA) system. Although very recent works also tried the explicit compositional processes to assemble multiple sub-tasks embedded in the questions, their models heavily rely on the annotations or hand-crafted rules to obtain valid reasoning layout, leading to either heavy labor or poor performance on composition reasoning. In this paper, to enable global context reasoning for better aligning image and language domains in diverse and unrestricted cases, we propose a novel reasoning network called Adversarial Composition Modular Network (ACMN). This network comprises of two collaborative modules: i) an adversarial attention module to exploit the local visual evidence for each word parsed from the question; ii) a residual composition module to compose the previously mined evidence. Given a dependency parse tree for each question, the adversarial attention module progressively discovers salient regions of one word by densely combining regions of child word nodes in an adversarial manner. Then residual composition module merges the hidden representations of an arbitrary number of children through sum pooling and residual connection. Our ACMN is thus capable of building an interpretable VQA system that gradually dives the image cues following a question-driven reasoning route and makes global reasoning by incorporating the learned knowledge of all attention modules in a principled manner. Experiments on relational datasets demonstrate the superiority of our ACMN and visualization results show the explainable capability of our reasoning system.

研究の動機と目的

• 従来のVQAモデルがブラックボックス的またはルールベースの推論に依存するため、解釈可能性と一般化の欠如に対処すること。
• アノテートされたレイアウトや手動で作成されたルールを必要とせず、任意の依存木解析木に対してグローバルで文脈に配慮した推論を可能にすること。
• 節化述語関係と修飾関係の2つの主要な依存関係をモデル化することで、VQAにおける関係的推論を向上させること。
• 質問駆動型で段階的な視覚的証拠抽出と特徴の構成を可能にする、モジュラでエンドツーエンドで学習可能なネットワークを開発すること。

提案手法

• モデルは、各質問のツリー構造的解析を生成するため、汎用的な依存解析器を用いる。これが推論の基盤を形成する。
• 修飾関係（例：'灰色の物体'）のため、敵対的アテンションモジュールは、子ノードが事前に注目した領域をマスクし、残りの特徴に対してソフトアテンションを実行することで、新たな視覚的証拠を発見する。
• 節化述語関係（例：'である'、'持つ'）のため、リーマンス構成モジュールは、子ノードの隠れ表現を和集合プーリングとリーマンス接続を用いて融合し、情報の流れを保持する。
• 敵対的アテンション機構は、子ノードからのアテンションマップを組み合わせ、それらの特徴を抑制することで、新たな画像領域の探索を促進するソフトマスク戦略を採用する。
• リーマンス構成モジュールは、複数の子ノードからの特徴を二重線形融合で統合し、可変な子ノード数でさえも、スキップ接続により勾配の流れを維持する。
• ネットワーク全体はエンドツーエンドで学習され、答えを予測するとともに、推論経路を可視化するアテンションマップを生成する。

実験結果

リサーチクエスチョン

• RQ1 手動で作成されたルールやアノテートされたレイアウトに依存せず、一般化された依存木上で解釈可能なグローバル推論を実現できるか？
• RQ2 敵対的アテンション機構は、オープンエンドの質問における修飾関係のための視覚的証拠発見をどのように改善するか？
• RQ3 リーマンス構成は、複雑な推論における節化述語関係の特徴統合をどの程度向上させるか？
• RQ4 提案されたモジュラアーキテクチャは、関係的VQAにおける多様で制限のない質問スタイルに一般化可能か？

主な発見

• Sort-of-CLEVRデータセットにおいてACMNは最先端の性能を達成し、二重パスリーマンス構造を用いることで91.1%の精度を記録した。これは、可変的かつ重複する子ノードを扱うリーマンス学習の有効性を示している。
• アブレーションスタディの結果、リーマンス接続を削除すると精度が2.7%低下し、構成過程での情報の流れを保持する上でその重要性が確認された。
• 敵対的アテンションモジュールは、リロケートモジュールおよび特徴連結ベースラインを上回り、1.5%の精度向上を達成した。これは、未注目領域のより効果的な探索に起因する。
• VQAv2データセットでは、ACMNはtest-stdで64.05%、test-devで63.81%の精度を達成し、アンサンブルやデータ拡張を用いない非アンサンブルベースラインを上回り、第一位の手法に近い性能を示した。
• 可視化結果から、ACMNが質問駆動の推論経路に従い、段階的に関連する画像領域に注目していることが確認された。例えば、'furthest object'（最も遠い物体）を注目する前に、'gray object'（灰色の物体）を正しく特定している。