[論文レビュー] Multi-Target Embodied Question Answering

Licheng Yu, Xinlei Chen+4 more|arXiv (Cornell University)|Apr 9, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 8

ひとこと要約

本稿では、色、サイズ、距離などの属性を比較する必要がある複数の場所に移動する必要がある、通常のEmbodied Question Answering (EQA)の一般化であるMulti-Target Embodied Question Answering (MT-EQA)を紹介する。著者らは、プログラム生成器、ナビゲーター、コントローラー、VQAモジュールからなるモジュラーなアーキテクチャを提案し、ベースラインと比較して顕著な性能向上を達成した。強化学習による微調整後、61.45%のEQA精度を達成した。

ABSTRACT

Embodied Question Answering (EQA) is a relatively new task where an agent is asked to answer questions about its environment from egocentric perception. EQA makes the fundamental assumption that every question, e.g., "what color is the car?", has exactly one target ("car") being inquired about. This assumption puts a direct limitation on the abilities of the agent. We present a generalization of EQA - Multi-Target EQA (MT-EQA). Specifically, we study questions that have multiple targets in them, such as "Is the dresser in the bedroom bigger than the oven in the kitchen?", where the agent has to navigate to multiple locations ("dresser in bedroom", "oven in kitchen") and perform comparative reasoning ("dresser" bigger than "oven") before it can answer a question. Such questions require the development of entirely new modules or components in the agent. To address this, we propose a modular architecture composed of a program generator, a controller, a navigator, and a VQA module. The program generator converts the given question into sequential executable sub-programs; the navigator guides the agent to multiple locations pertinent to the navigation-related sub-programs; and the controller learns to select relevant observations along its path. These observations are then fed to the VQA module to predict the answer. We perform detailed analysis for each of the model components and show that our joint model can outperform previous methods and strong baselines by a significant margin.

研究の動機と目的

• 従来のEmbodied Question Answering (EQA)を、単一ターゲットから複数ターゲットへの質問に拡張し、色、サイズ、距離などの属性を比較する推論を要するものにすること。
• 複数の場所と属性の比較を含む質問を含む、MT-EQAのための新しいベンチマークデータセットを開発すること。
• 実世界の環境で複雑で構成的な質問を処理できるモジュラーなエージェントアーキテクチャを設計・評価すること。
• アブレーションスタディを通じて、各モジュール（プログラム生成器、コントローラー、ナビゲーター、VQAモジュール）の貢献を分離・分析すること。

提案手法

• プログラム生成器は、自然言語の質問を、ナビゲーションや属性比較の操作を含む順序付き実行可能サブプログラムに変換する。
• ナビゲーターは強化学習を用いて、サブプログラムに基づきエージェントをターゲットの場所へ誘導する。エピソードの長さはナビゲーションの効率性を示す。
• コントローラーは経路に沿った第一人称の観察を処理し、ターゲットに到達したタイミングを予測し、属性抽出に適したキーフレームを選択する。
• コントローラーは適切なタイミングで関連する視覚的特徴（例：色、サイズ）を抽出し、それらをVQAモジュールに供給する。
• VQAモジュールは、ターゲット特徴の分解表現を用いて、属性の比較（例：等しい色、より大きい）を実行する。
• 完全なモデルは、エンドツーエンドの強化学習による微調整を経て、ナビゲーションとQAの両方の精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、色、サイズ、距離などの属性を比較する複数のターゲットを含む質問を、効果的に回答できるか？
• RQ2 プログラム生成器、コントローラー、ナビゲーター、VQAモジュールといったモジュラーなコンponentsが、複数ターゲットEQAにおける性能にどのように寄与しているか？
• RQ3 コントローラーを介してナビゲーションとVQAのタスクを分離することは、エンドツーエンドまたはアテンションベースのベースラインと比較して、より高い性能をもたらすか？
• RQ4 コントローラーによるフレーム選択の質は、すべてのフレームや最終フレームを使用する場合と比較して、VQA精度にどのように影響するか？
• RQ5 強化学習による微調整は、MT-EQA設定においてナビゲーションの効率性と全体のEQA精度をどの程度向上させるか？

主な発見

• 完全なモデルは、強化学習による微調整後、61.45%のEQA精度を達成した。これは54.44%のベースラインと比較して顕著な向上である。
• コントローラーは極めて重要である。このモジュールを削除すると、すべての指標で性能が低下し、ナビゲーションとVQAを分離することで学習が改善されることを示している。
• 最適なフレームが供給された場合、VQAモジュールはアテンションベースのベースラインを13.64%上回った。これは、属性を分解して比較できる能力に起因する。
• コントローラーが予測するフレーム選択は、オラクルのタイミングと比較して13%のVQA精度向上をもたらしたが、依然として劣っている。これは、フレーム選択の改善の余地があることを示している。
• 簡単な質問（短い真値の経路を伴う）は72.22%の精度で回答されたが、より難しい部屋をまたぐ質問では54.92%にとどまり、長距離の経路の挑戦性が浮き彫りになった。
• ナビゲーターの経路長は性能と相関している。短い経路は高い精度をもたらし、強化学習による微調整により平均エピソード長が短くなった。