[论文解读] OceanChat: Piloting Autonomous Underwater Vehicles in Natural Language

Ruochu Yang, Mengxue Hou+2 more|arXiv (Cornell University)|Sep 27, 2023

Underwater Vehicles and Communication Systems被引用 5

一句话总结

OceanChat 提出了一种闭环、由大语言模型（LLM）引导的任务与运动规划框架，使自主水下航行器（AUVs）能够在复杂、动态的水下环境中实现自然语言控制。通过整合大语言模型、带有逻辑约束的任务规划，以及基于传感器反馈的实时运动规划，该系统在保持高成功率为前提下，相较于 LLM-运动规划，将计算时间减少了 30%。

ABSTRACT

In the trending research of fusing Large Language Models (LLMs) and robotics, we aim to pave the way for innovative development of AI systems that can enable Autonomous Underwater Vehicles (AUVs) to seamlessly interact with humans in an intuitive manner. We propose OceanChat, a system that leverages a closed-loop LLM-guided task and motion planning framework to tackle AUV missions in the wild. LLMs translate an abstract human command into a high-level goal, while a task planner further grounds the goal into a task sequence with logical constraints. To assist the AUV with understanding the task sequence, we utilize a motion planner to incorporate real-time Lagrangian data streams received by the AUV, thus mapping the task sequence into an executable motion plan. Considering the highly dynamic and partially known nature of the underwater environment, an event-triggered replanning scheme is developed to enhance the system's robustness towards uncertainty. We also build a simulation platform HoloEco that generates photo-realistic simulation for a wide range of AUV applications. Experimental evaluation verifies that the proposed system can achieve improved performance in terms of both success rate and computation time. Project website: \url{https://sites.google.com/view/oceanchat}

研究动机与目标

• 使非技术用户能够通过自然语言命令操控 AUV，减少对专业工程知识的依赖。
• 解决在部分可观测、动态的水下环境中，将抽象语言指令转化为可执行机器人动作的挑战。
• 通过基于事件的重规划机制，利用实时传感器反馈，提升系统对执行失败的鲁棒性。
• 开发一个逼真的仿真平台（HoloEco），用于在多样化条件下评估 AUV 任务性能。
• 构建一种分层的闭环规划框架，整合 LLM、任务规划器与运动规划器，实现 AUV 的可靠运行。

提出的方法

• 该系统采用三级框架：LLM 将自然语言命令解析为高层目标，任务规划器生成具有逻辑约束的动作序列，运动规划器计算可执行的轨迹。
• 实时拉格朗日数据流（如深度图、激光测距）被运动规划器用于在动态时间窗口内生成无碰撞、最优的运动规划。
• 基于事件的重规划机制利用激光测距传感器检测碰撞，并在必要时触发计划再生，确保系统鲁棒性。
• 运动规划器采用基于 A* 的启发式方法，结合已行进距离与目标接近度，以优化路径选择。
• 一个定制的仿真平台 HoloEco 生成具有校准 AUV 模型（EcoMapper）的逼真水下环境，用于评估。
• 系统将基于 PDDL 的任务规划与动态环境感知相结合，根据实时观测结果优化计划。

Figure 1 : Our proposed system OceanChat can decompose natural language commands into a task sequence of controlling EcoMapper in the HoloEco simulation platform. We establish a three-level framework of LLM-guided task and motion planner. The event-triggered replanning module is designed to withstan

实验结果

研究问题

• RQ1 大语言模型能否有效将自然语言命令转化为非结构化水下环境中 AUV 任务的高层目标？
• RQ2 带有逻辑约束的任务规划在多大程度上能提升 LLM 生成计划在机器人系统中的可靠性与可执行性？
• RQ3 在动态、部分可观测的水下场景中，实时传感器反馈与基于事件的重规划在多大程度上提升了系统鲁棒性？
• RQ4 在 AUV 导航中，结合 LLM、任务规划与运动规划时，计算效率与成功率之间的权衡如何？
• RQ5 与开环或仅 LLM 规划相比，闭环规划框架在复杂 AUV 任务中是否能在成功率与执行时间两方面均表现更优？

主要发现

• 所提出的 LLM-运动-任务规划框架在计算时间仅为 LLM-运动规划 30% 的情况下，实现了与之相当的成功率。
• 该系统在仿真中成功引导 EcoMapper 自主穿越未知峡谷，验证了从自然语言命令到自主执行的端到端能力。
• 基于事件的重规划显著提升了对意外障碍物与传感器误差的鲁棒性，支持从执行失败中恢复。
• 任务规划的整合通过将目标细化为可行的动作序列，减轻了运动规划器的负担，提升了规划效率。
• HoloEco 仿真平台支持逼真评估 AUV 任务，具备照片级真实感渲染与传感器建模能力，适用于多样化水下应用。
• 与直接 LLM 规划相比，所提方法通过引入物理与逻辑约束，确保了计划的可执行性，避免了不可行的动作序列。

Figure 2 : Framework of closed-loop LLM-guided task and motion planning. The high-level LLM planner composes an overall goal by precisely comprehending the human command in the context of underwater scenes. The middle-level task planner generates a logical sequence of tasks to achieve the overall go