[論文レビュー] Advances in Embodied Navigation Using Large Language Models: A Survey

Jinzhou Lin, Han Gao+6 more|arXiv (Cornell University)|Nov 1, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本サーベイは、大規模言語モデル（LLMs）をエメーブドナビゲーションに活用する最新の進展を統合的に分析し、視覚、言語、強化学習と統合することでゼロショット計画と意思決定を可能にする。R2Rでは56.5%、IMAGENAVでは82.0%という最先端の成功確率を報告しており、LLMsが複雑な環境における適応的かつ文脈に配慮したナビゲーションを可能にする画期的な役割を果たしていることを示している。

ABSTRACT

In recent years, the rapid advancement of Large Language Models (LLMs) such as the Generative Pre-trained Transformer (GPT) has attracted increasing attention due to their potential in a variety of practical applications. The application of LLMs with Embodied Intelligence has emerged as a significant area of focus. Among the myriad applications of LLMs, navigation tasks are particularly noteworthy because they demand a deep understanding of the environment and quick, accurate decision-making. LLMs can augment embodied intelligence systems with sophisticated environmental perception and decision-making support, leveraging their robust language and image-processing capabilities. This article offers an exhaustive summary of the symbiosis between LLMs and embodied intelligence with a focus on navigation. It reviews state-of-the-art models, research methodologies, and assesses the advantages and disadvantages of existing embodied navigation models and datasets. Finally, the article elucidates the role of LLMs in embodied intelligence, based on current research, and forecasts future directions in the field. A comprehensive list of studies in this survey is available at https://github.com/Rongtao-Xu/Awesome-LLM-EN.

研究の動機と目的

• エメーブドナビゲーションタスクにおける大規模言語モデル（LLMs）とエメーブド知能の統合について包括的なレビューを提供すること。
• R2R、REVERIE、RXR、CVDNといった既存のベンチマークを、その設計、言語の複雑さ、環境の豊かさの観点から分析・比較すること。
• ゼロショットナビゲーションにおける現在のLLMベースのエージェントの強みと限界、特に推論、計画、一般化能力について評価すること。
• マルチモーダル統合、リアルタイム推論遅延、学習におけるサンプル効率性といった主な技術的課題を特定すること。
• 標準化されたベンチマーク、倫理的AI統合、および異分野連携といった今後の研究方向性を提案すること。

提案手法

• 本サーベイは、エメーブドAI分野における14の主要なベンチマークを体系的に分析し、データ構成、タスクタイプ、評価プロトコルを比較している。
• 言語モデルを用いて高レベルの計画とシーン理解を実現するSayNav、ESC、NavGPT、OVRL-V2といった最先端のLLMベースのエージェントを評価している。
• 空間的・一般的常識的推論を強化するために、3次元シーングラフ構築、対照的言語・画像事前学習（CLIP）、確率的ソフト論理といった技術が用いられている。
• 強化学習（RL）とルールベース手法の知見を統合することで、ポリシーの安定性を向上させ、サンプル複雑性を低減している。
• ポイントゴールナビゲーションや参照表現理解といったタスクにおける成功確率を評価するための比較評価フレームワークが適用されている。
• 本サーベイは、分野における最近の進展をカタログ化・分析するためのキュレート済みリポジトリ（https://github.com/Rongtao-Xu/Awesome-LLM-EN）を活用している。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、多様で未確認の環境において、エメーブドナビゲーションのゼロショット一般化をどのように向上させるか？
• RQ2 R2R、REVERIE、RXRといった主要なエメーブドナビゲーションベンチマークの設計およびパフォーマンスに、どのような主な差異が存在するか？
• RQ3 LLMベースのエージェントは、複雑なナビゲーションタスクにおいて、従来のRLや視覚言語モデルをどれほど上回っているか？
• RQ4 リアルタイムで動作するマルチモーダルエメーブドエージェントにLLMsを導入するにあたり、主な技術的ボトルネックは何か？
• RQ5 強力で汎用的なエメーブド知能を発展させるために、最も有望な今後の研究方向性は何か？

主な発見

• L3MVNのようなLLMベースのエージェントは、R2Rベンチマークで56.5%の成功確率を達成し、以前の最先端手法を上回った。
• OVRL-V2は、IMAGENAVタスクで82.0%、OBJECTNAVで64.0%の成功確率を達成し、視覚言語に基づくナビゲーションにおいて優れたパフォーマンスを示した。
• ESC や NavGPT といったモデルは、事前学習済みの一般的常識および言語モデルを活用することで、推論および計画能力が向上した。
• LLMsを視覚および言語と統合することで、未確認の環境でも効果的なゼロショット意思決定が可能になった。
• 高いパフォーマンスを発揮しているものの、リアルタイム推論、マルチモーダル統合、およびLLMsにおける直接的な物理的環境への接地の欠如といった課題が依然として残っている。
• 標準化されたベンチマークと異分野連携は、進展を加速させ、倫理的配備を確保する上で不可欠である。