[论文解读] Advances in Embodied Navigation Using Large Language Models: A Survey

Jinzhou Lin, Han Gao+6 more|arXiv (Cornell University)|Nov 1, 2023

Computational and Text Analysis Methods被引用 5

一句话总结

本综述综合了近期利用大型语言模型（LLMs）进行具身导航的进展，分析了其与视觉、语言和强化学习的融合，以实现零样本规划与决策。报告了最先进性能——例如在R2R上达到56.5%，在IMAGENAV上达到82.0%，展示了LLMs在复杂环境中实现自适应、上下文感知导航的变革性作用。

ABSTRACT

In recent years, the rapid advancement of Large Language Models (LLMs) such as the Generative Pre-trained Transformer (GPT) has attracted increasing attention due to their potential in a variety of practical applications. The application of LLMs with Embodied Intelligence has emerged as a significant area of focus. Among the myriad applications of LLMs, navigation tasks are particularly noteworthy because they demand a deep understanding of the environment and quick, accurate decision-making. LLMs can augment embodied intelligence systems with sophisticated environmental perception and decision-making support, leveraging their robust language and image-processing capabilities. This article offers an exhaustive summary of the symbiosis between LLMs and embodied intelligence with a focus on navigation. It reviews state-of-the-art models, research methodologies, and assesses the advantages and disadvantages of existing embodied navigation models and datasets. Finally, the article elucidates the role of LLMs in embodied intelligence, based on current research, and forecasts future directions in the field. A comprehensive list of studies in this survey is available at https://github.com/Rongtao-Xu/Awesome-LLM-EN.

研究动机与目标

• 提供大型语言模型（LLMs）与具身智能在导航任务中融合的全面综述。
• 从设计、语言复杂性和环境丰富度等方面，分析并比较现有基准（如R2R、REVERIE、RXR和CVDN）的异同。
• 评估当前基于LLM的智能体在零样本导航中的优势与局限，包括推理、规划和泛化能力。
• 识别关键的技术挑战，如多模态融合、实时推理延迟以及训练中的样本效率问题。
• 提出未来研究方向，包括标准化基准、伦理AI整合以及跨学科协作。

提出的方法

• 本综述系统分析了14个具身AI领域的领先基准，比较其数据构成、任务类型和评估协议。
• 评估了最先进的基于LLM的智能体，如SayNav、ESC、NavGPT和OVRL-V2，这些模型利用语言模型实现高层规划与场景理解。
• 采用技术如3D场景图构建、对比语言-图像预训练（CLIP）以及概率软逻辑，以增强空间与常识推理能力。
• 整合强化学习（RL）与基于规则的方法的见解，以提升策略稳定性并降低样本复杂度。
• 应用比较评估框架，以衡量在点目标导航和指代表达理解等任务中的成功率达。
• 利用一个精选的代码库（https://github.com/Rongtao-Xu/Awesome-LLM-EN）来整理并分析该领域的最新进展。

实验结果

研究问题

• RQ1 LLMs如何在多样化且未见过的环境中提升具身导航的零样本泛化能力？
• RQ2 主要具身导航基准（如R2R、REVERIE和RXR）在设计与性能方面的主要差异是什么？
• RQ3 基于LLM的智能体在复杂导航任务中相较于传统强化学习或视觉-语言模型，性能提升程度如何？
• RQ4 在部署LLMs以实现实时、多模态具身智能体时，主要技术瓶颈是什么？
• RQ5 在推动稳健、通用的具身智能发展方面，哪些未来研究方向最具前景？

主要发现

• 基于LLM的智能体如L3MVN在R2R基准上实现了56.5%的成功率，超越了先前最先进方法。
• OVRL-V2在IMAGENAV任务上达到82.0%的成功率，在OBJECTNAV上达到64.0%，展示了其在视觉-语言对齐导航中的强大性能。
• 如ESC和NavGPT等模型通过利用预训练的常识与语言模型，展现出增强的推理与规划能力。
• LLMs与视觉及语言的融合可实现有效的零样本决策，即使在未见过的环境中亦然。
• 尽管性能优异，LLMs在实时推理、多模态融合以及缺乏对物理世界的直接具身化接地方面仍面临挑战。
• 标准化基准与跨学科协作对于加速进展并确保伦理部署至关重要。