[論文レビュー] Interpretable Visual Question Answering by Reasoning on Dependency Trees

Qingxing Cao, Bailin Li+2 more|arXiv (Cornell University)|Sep 6, 2018

Multimodal Machine Learning Applications参考文献 46被引用数 8

ひとこと要約

この論文では、質問からパースツリーを抽出し、そのツリー上でグローバルな推論を行うことで解釈可能な視覚質問応答（VQA）を実現するパースツリー誘導型推論ネットワーク（PTGRN）を提案する。モデルは視覚的証拠を局所化するためのアテンションモジュール、子ノード特徴を統合するゲート付き残差結合モジュール、および依存関係エッジに沿って情報を伝搬するパースツリー誘導型伝搬モジュールを備え、手動で作成したルールや正解プログラムレイアウトに依存せずに、最先端のVQA性能と高い解釈可能性を達成する。

ABSTRACT

Collaborative reasoning for understanding image-question pairs is a very critical but underexplored topic in interpretable visual question answering systems. Although very recent studies have attempted to use explicit compositional processes to assemble multiple subtasks embedded in questions, their models heavily rely on annotations or handcrafted rules to obtain valid reasoning processes, which leads to either heavy workloads or poor performance on compositional reasoning. In this paper, to better align image and language domains in diverse and unrestricted cases, we propose a novel neural network model that performs global reasoning on a dependency tree parsed from the question; thus, our model is called a parse-tree-guided reasoning network (PTGRN). This network consists of three collaborative modules: i) an attention module that exploits the local visual evidence of each word parsed from the question, ii) a gated residual composition module that composes the previously mined evidence, and iii) a parse-tree-guided propagation module that passes the mined evidence along the parse tree. Thus, PTGRN is capable of building an interpretable visual question answering (VQA) system that gradually derives image cues following question-driven parse-tree reasoning. Experiments on relational datasets demonstrate the superiority of PTGRN over current state-of-the-art VQA methods, and the visualization results highlight the explainable capability of our reasoning system.

研究の動機と目的

• 既存のVQAモデルがブラックボックスとして動作するための解釈可能性の欠如に対処すること。
• 構成的推論に高価なアノテーションや手動ルールに依存する従来手法の制限を克服すること。
• ドメイン特化知識を必要とせず、多様でオープンエンドな質問に対して推論可能な汎用的VQAフレームワークの開発。
• 依存関係パースツリー上でグローバルかつ構造的な推論を実現し、VQAにおける関係的推論を向上させること。
• アテンションマップの正確性を高め、正解のバウンディングボックスと整合させることで、モデルの解釈性を向上させること。

提案手法

• モデルは、入力質問からパースツリーを生成するために、既存の依存関係パーサーを用いる。
• アテンションモジュールは、子ノードからのアテンションマップと単語埋め込みを画像特徴と融合することで、局所的な視覚的証拠を抽出する。
• ゲート付き残差結合モジュールは、学習可能なゲートを用いて子ノードの特徴を統合し、現在のノードの表現を更新する。
• パースツリー誘導型伝搬モジュールは、依存関係の種別（例：節内述語や修飾語）を条件として、隠れ状態とアテンションマップを親ノードに伝搬する。
• ネットワークはパースツリーに従ってトップダウン順にノードを処理することで、逐次的かつ構造的な推論を実現する。
• フレームワークは、正解プログラムレイアウトやアノテートされた推論経路を必要とせず、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 正解の推論プログラムのアノテーションに依存せずに、依存関係木上で構造的推論を実行することで、VQAモデルが高い解釈性を達成できるか。
• RQ2 提案されたPTGRNモデルは、最先端の手法と比較して、関係的推論タスクでどの程度の性能を示すか。
• RQ3 モデルの性能が依存関係パースの正確性にどの程度依存しているか。
• RQ4 推論経路の教師信号なしに、モデルがアテンションマップを正解のオブジェクト位置と高い一致で得られるか。
• RQ5 ドメイン特化ルールの設計なしに、多様でオープンエンドな質問タイプに一般化できるか。

主な発見

• 正解プログラムレイアウトを用いた場合、PTGRNはCLEVR検証セットで91.85%の精度を達成し、先行手法を上回る。
• 正解レイアウトなしの場合、PTGRNはCLEVR検証セットで64.71%のアテンションマップ精度を達成し、MACよりも31.99%の向上を示した。
• パースツリーに摂動を加えるとモデルの性能が著しく低下する—70%の関係がランダムに変更された場合、精度は95.42%から40.11%に低下した—これはパース品質に強く依存していることを示している。
• 可視化結果から、PTGRNは複数のオブジェクト（例：青色のオブジェクト）を正しく特定し、遠く離れた画像領域間で「より多い」などの複雑な関係を追跡できている。
• ゲート付き残差結合モジュールにより、子ノード間の特徴統合が効果的に実現され、複雑な質問に対する推論性能が向上した。
• パースツリー誘導型伝搬モジュールはエッジ固有の情報を効果的に親ノードに伝達し、文法的構造に基づいた文脈に適した推論を可能にした。