[論文レビュー] Scene-Intuitive Agent for Remote Embodied Visual Grounding

Xiangru Lin, Guanbin Li+1 more|arXiv (Cornell University)|Mar 24, 2021

Multimodal Machine Learning Applications参考文献 46被引用数 4

ひとこと要約

本論文は、REVERIEタスクにおけるリモートエメーブドビジュアルグラウンディングを対象として、シーンに直感的なエージェントを提案する。2段階のトレーニングパイプラインを用いる：まず、シーンおよびオブジェクトグラウンディングタスクで事前学習することで、高レベルの指示理解を学習し、次にメモリ拡張型の注意型アクションデコーダーを用いてナビゲーション方針を生成する。この手法は最先端の性能を達成し、先行研究と比較してVal SeenではSPLが11.58%向上、Val Unseenでは9.09%向上した。

ABSTRACT

Humans learn from life events to form intuitions towards the understanding of visual environments and languages. Envision that you are instructed by a high-level instruction, "Go to the bathroom in the master bedroom and replace the blue towel on the left wall", what would you possibly do to carry out the task? Intuitively, we comprehend the semantics of the instruction to form an overview of where a bathroom is and what a blue towel is in mind; then, we navigate to the target location by consistently matching the bathroom appearance in mind with the current scene. In this paper, we present an agent that mimics such human behaviors. Specifically, we focus on the Remote Embodied Visual Referring Expression in Real Indoor Environments task, called REVERIE, where an agent is asked to correctly localize a remote target object specified by a concise high-level natural language instruction, and propose a two-stage training pipeline. In the first stage, we pretrain the agent with two cross-modal alignment sub-tasks, namely the Scene Grounding task and the Object Grounding task. The agent learns where to stop in the Scene Grounding task and what to attend to in the Object Grounding task respectively. Then, to generate action sequences, we propose a memory-augmented attentive action decoder to smoothly fuse the pre-trained vision and language representations with the agent's past memory experiences. Without bells and whistles, experimental results show that our method outperforms previous state-of-the-art(SOTA) significantly, demonstrating the effectiveness of our method.

研究の動機と目的

• 高レベルの自然言語指示を用いて、実際の屋内環境で遠隔オブジェクトをナビゲートし局所化する課題に対処すること。
• 共通の常識的知識と視覚的文脈に基づいて、「どこへ行くか」「何に注目するか」を人間の直感に従って推論するエージェントを設計すること。
• 既存のモデルが微細な指示にのみトレーニングされているという制限を克服し、未観測環境における一般化性とナビゲーション効率を向上させること。
• ビジョン・ランゲージのアライメントを事前学習する2段階のトレーニングフレームワークを構築すること。

提案手法

• 2段階のトレーニングパイプラインを提案：シーングラウンディングおよびオブジェクトグラウンディングタスクで事前学習した後、メモリ拡張型デコーダーを用いてアクションデコーディングを実施する。
• 高レベルの指示に一致する正しいビューポイントを特定するためのシーングラウンディングタスクを導入し、クロスモodalな対照的学習を用いる。
• 与えられたビューポイントにおいて、候補の中からターゲットオブジェクトを局所化するためのオブジェクトグラウンディングタスクを導入し、関連する視覚的特徴への注目を強化する。
• 視覚的特徴、言語表現、および再帰的メモリ状態を統合するメモリ拡張型の注意型アクションデコーダーを採用し、アクションシーケンスを生成する。
• 交差エントロピー、ポリシー勾配、強化学習の目的関数を統合したマルチタスク損失関数を用いて、ナビゲーションとグラウンディングを同時に最適化する。
• ViLBERTベースのエンコーダーを用いてビジョン・ランゲージ表現の統合学習を実施し、ログィット統合によりグラウンディング精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 シーンおよびオブジェクトグラウンディングタスクでの事前学習が、高レベルの指示に基づくナビゲーションにおけるゼロショット一般化を向上させるか？
• RQ2 メモリ拡張型の注目を統合することで、曖昧で高レベルの指示下での長距離ナビゲーションがどのように改善されるか？
• RQ3 REVERIEベンチマークにおいて、提案手法が既存の最先端モデルと比較して、成功確率および経路効率の観点でどの程度優れているか？
• RQ4 メモリ状態と統合されたグラウンディング済みの視覚的および言語的表現が、より強固で正確なターゲット局所化を実現するか？

主な発見

• 提案手法は、先行の最先端手法と比較して、Val SeenではSPLが11.58%向上、Val Unseenでは9.09%向上した。
• RG SPLにおいては、Val Seenで12.99%、Val Unseenで6.89%向上し、より高い局所化精度とナビゲーション成功確率を示した。
• オブジェクトグラウンディングモデルは、先行の最先端手法と比較して10%以上の精度向上を達成し、優れたクロスモーダルアライメントを示した。
• シーングラウンディングモデルは、正しいターゲットビューポイントを高精度で特定でき、高レベルの空間的指示に対する推論能力を裏付けた。
• メモリ拡張型アクションデコーダーは、平均ナビゲーション経路長を短縮しながらも、特に長距離パスにおいて高い成功確率を維持した。
• 実験により、複数のヘッド（g_{sg}、g_{og}、および l_{τ}）のガイダンスを合算することで、ターゲット探索のロバスト性が向上し、バイアスが低減することが示された。