[論文レビュー] March in Chat: Interactive Prompting for Remote Embodied Referring Expression

Yanyuan Qiao, Yuankai Qi+3 more|arXiv (Cornell University)|Aug 20, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、視覚言語ナビゲーションエージェントが大規模な3次元環境において、大規模言語モデル（LLM）とリアルタイムでの対話を通じて動的ナビゲーション経路を計画できる、新たなインタラクティブプロンプティングフレームワークであるMarch-in-Chat（MiC）を提案する。環境に適応した認識を実現するRoom-and-Object Aware Scene Perceiver（ROASP）と、2つの計画モジュール（Goal-Oriented Static Planning（GOSP）およびScene-Oriented Dynamic Planning（SODP））を統合することで、MiCはREVERIEベンチマークでSPL 41.97%、RGSPL 26.17%という最先端の性能を達成し、従来手法を著しく上回った。

ABSTRACT

Many Vision-and-Language Navigation (VLN) tasks have been proposed in recent years, from room-based to object-based and indoor to outdoor. The REVERIE (Remote Embodied Referring Expression) is interesting since it only provides high-level instructions to the agent, which are closer to human commands in practice. Nevertheless, this poses more challenges than other VLN tasks since it requires agents to infer a navigation plan only based on a short instruction. Large Language Models (LLMs) show great potential in robot action planning by providing proper prompts. Still, this strategy has not been explored under the REVERIE settings. There are several new challenges. For example, the LLM should be environment-aware so that the navigation plan can be adjusted based on the current visual observation. Moreover, the LLM planned actions should be adaptable to the much larger and more complex REVERIE environment. This paper proposes a March-in-Chat (MiC) model that can talk to the LLM on the fly and plan dynamically based on a newly proposed Room-and-Object Aware Scene Perceiver (ROASP). Our MiC model outperforms the previous state-of-the-art by large margins by SPL and RGSPL metrics on the REVERIE benchmark.

研究の動機と目的

• REVERIEベンチマークのように、高レベルで粗い自然言語指示のみを用いて複雑で大規模な3次元環境をナビゲートする課題に対処すること。
• エージェントとLLMの間にリアルタイムの対話を通じて、LLMが動的で環境に適応したプランナーとして機能できるようにすること。
• リアルタイムのシーン認識と適応的計画を組み込むことで、遠隔エージェントによる指差し表現タスクにおけるナビゲーション性能とオブジェクトの位置特定性能を向上させること。
• 詳細な指示が与えられるシミュレートされたVLNタスクと、ユーザーが高レベルの命令を出す現実世界の応用との間のギャップを埋めること。

提案手法

• MiCフレームワークは、現在の視覚的観測を分析し、プロンプトに使用する環境に適応した記述を生成するRoom-and-Object Aware Scene Perceiver（ROASP）モジュールを採用している。
• Goal-Oriented Static Planning（GOSP）モジュールは、LLMにターゲットオブジェクトを特定し、LLMの内部の世界知識を用いてその可能性の高い位置を推定するよう問い合わせる。
• Scene-Oriented Dynamic Planning（SODP）モジュールは、エージェントが新しい部屋に入ると、ROASPからのリアルタイムフィードバックを統合して段階的なナビゲーション指示を動的に生成する。
• システムはインタラクティブプロンプティングを採用しており、元の指示、過去の行動、および現在のシーン記述を含む更新された文脈を繰り返しLLMに問い合わせることで、適応的ナビゲーション計画を生成する。
• LLMは、高レベルのREVERIE指示、デモンストレーション、およびROASPが生成するシーン記述を統合した構造化された指示テンプレートにプロンプトされる。これにより、詳細な計画が導かれる。
• エージェントはLLMが生成した計画に従って行動し、部屋の移動を検知した際に再びLLMに問い合わせることで、環境の変化に継続的に適応する。

実験結果

リサーチクエスチョン

• RQ1 高レベルの指示のみが与えられるREVERIEベンチマークにおいて、大規模言語モデル（LLM）を用いたインタラクティブプロンプティングがナビゲーション計画を改善できるか？
• RQ2 部屋とオブジェクトに注意を払うシーンパーセーバ（ROASP）による環境に適応した認識が、LLMが生成するナビゲーション計画の質と適応性をどのように向上させるか？
• RQ3 長時間にわたる大規模ナビゲーションタスクにおいて、動的でシーンに依存するプロンプティングは、静的または固定されたプロンプティング戦略と比較してどの程度寄与するか？
• RQ4 LLMとの即時対話によって、ベースラインや静的プロンプティング手法と比較して、ナビゲーションの成功確率と位置特定の正確性がどの程度向上するか？

主な発見

• MiCは、REVERIEテストセットの未学習データに対して、SPL 41.97%、RGSPL 26.17%という新たな最先端の性能を達成し、従来の最先端手法をそれぞれ少なくとも3.09%および3.49%以上上回った。
• アブレーションスタディの結果、ROASPを統合した動的計画モジュールは、静的プロンプティングよりも顕著に性能を向上させ、SPLで1.2%の絶対的向上、RGSPLで0.8%の向上を示した。
• 人間評価では、SODPモジュールがより関連性が高く合理的なナビゲーション指示を生成することが確認され、関連性スコア2.06、合理性スコア1.93（0〜3スケール）を記録した。
• 動的デモンストレーションを削除すると、関連性スコアと合理性スコアはそれぞれ31.55%および36.27%低下し、文脈に適応した進化するプロンプトの重要性が示された。
• ROASPモジュールは性能向上に寄与しており、その削除により関連性スコアと合理性スコアはそれぞれ1.64および1.55に低下した。これは、シーン理解におけるその価値を示している。
• 定性的分析の結果、システムは部屋の移動に応じて適応し、論理的整合性を保った一貫性のある文脈に根ざしたナビゲーション計画を生成することがわかった。