[论文解读] DynaCon: Dynamic Robot Planner with Contextual Awareness via LLMs

Gyeongmin Kim, Tae-Hyeon Kim+4 more|arXiv (Cornell University)|Sep 27, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

DynaCon 是一种新颖的动态机器人规划器，通过利用大型语言模型（LLMs）实现情境感知，从而实现无地图导航。通过结合实时物体反馈、结构化提示工程和基于 ROS 的导航，其在类别推理任务中实现了 62.5% 的成功率，在基于模式的推理中表现近乎完美，展示了在未知环境中由 LLM 驱动的情境路径规划能力。

ABSTRACT

Mobile robots often rely on pre-existing maps for effective path planning and navigation. However, when these maps are unavailable, particularly in unfamiliar environments, a different approach become essential. This paper introduces DynaCon, a novel system designed to provide mobile robots with contextual awareness and dynamic adaptability during navigation, eliminating the reliance of traditional maps. DynaCon integrates real-time feedback with an object server, prompt engineering, and navigation modules. By harnessing the capabilities of Large Language Models (LLMs), DynaCon not only understands patterns within given numeric series but also excels at categorizing objects into matched spaces. This facilitates dynamic path planner imbued with contextual awareness. We validated the effectiveness of DynaCon through an experiment where a robot successfully navigated to its goal using reasoning. Source code and experiment videos for this work can be found at: https://sites.google.com/view/dynacon.

研究动机与目标

• 使移动机器人能够在没有预先存在的地图的情况下，有效导航于未知环境。
• 通过利用 LLM 从自然语言描述中推断目标，解决情境感知导航的挑战。
• 开发一种实时、反馈驱动的系统，动态更新物体感知和导航决策。
• 通过结构化 LLM 提示实现基于模式和类别的推理，提升机器人适应性。
• 将 LLM 推理与基于 ROS 的导航集成，以确保实时响应和碰撞避免。

提出的方法

• 实现一个物体服务器，持续更新检测到的物体列表和机器人的当前位置。
• 设计一种包含角色（Role）、主要任务（Main Task）和指令（Instruction）组件的结构化提示工程框架，以引导 LLM 推理。
• 使用 LLM 执行两种类型的推理：基于模式的（例如，识别数字数据中的序列）和基于类别的（例如，根据上下文将物体分配到房间）。
• 将 LLM 的输出与 ROS 的 move_base 导航堆栈集成，以执行运动规划。
• 将系统分解为模块化组件——反馈、提示工程和导航，以增强可扩展性和可定制性。
• 通过实时反馈对路径进行迭代修正，以在初始物体列表不完整时纠正导航错误。

Figure 1 : Given input sentences, DynaCon can estimate goals through either pattern-based reasoning (top: identifying patterns within numerical sequences) or categorical reasoning (bottom: categorizing objects into specific rooms). In both scenarios, DynaCon can execute navigation with periodic upda

实验结果

研究问题

• RQ1 LLM 是否能够在没有预先存在的地图的未知环境中实现有效的路径规划？
• RQ2 LLM 在机器人导航任务中，基于模式的推理与基于类别的推理表现如何？
• RQ3 实时物体反馈对在动态环境中纠正导航错误有何影响？
• RQ4 结构化提示工程如何提升 LLM 在机器人导航任务中的推理能力？
• RQ5 基于 LLM 的导航的故障模式是什么？如何通过反馈和间接推理加以缓解？

主要发现

• 在八个测试场景中，DynaCon 在类别推理任务中实现了 62.5% 的成功率，失败主要源于初始物体列表不完整。
• 系统在基于模式的推理中表现出近乎完美的性能，即使在物体未被检测到的情况下，也能成功利用数字序列模式导航至目标。
• 实时反馈使系统能够在失败案例中实现路径修正，例如在测试 7 中，当物体列表更新为包含冰箱后，机器人成功抵达厨房。
• House 2 因缺乏房间隔断，未出现失败，表明环境结构在性能中起到关键作用。
• 类别推理性能较低，原因在于需要更高阶的推理能力，且不同物体类别间缺乏一致规则。
• 本研究识别出间接推理（即从无关或远距离物体推断目标）是关键挑战，未来需进一步改进以实现稳健的情境导航。

Figure 2 : An overview of DynaCon’s structure: Within the subsections of real-time feedback, prompt engineering, and navigation task, DynaCon processes task inputs, recognizes objects from the environment in real-time, and performs navigation towards the desired object by reasoning based on designed