[论文解读] DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution Misalignment

Yanjiang Guo, Yen‐Jen Wang+2 more|arXiv (Cornell University)|Jul 1, 2023

Topic Modeling被引用 4

一句话总结

DoReMi 是一种新颖的框架，通过利用大语言模型（LLMs）生成执行约束，并使用视觉语言模型（VLMs）持续监控约束违反情况，使大型语言模型能够检测并从机器人任务中的计划执行错位中恢复。实验表明，与基线方法相比，该框架在机械臂和人形机器人任务中显著提高了任务成功率并减少了完成时间。

ABSTRACT

Large language models (LLMs) encode a vast amount of semantic knowledge and possess remarkable understanding and reasoning capabilities. Previous work has explored how to ground LLMs in robotic tasks to generate feasible and executable textual plans. However, low-level execution in the physical world may deviate from the high-level textual plan due to environmental perturbations or imperfect controller design. In this paper, we propose extbf{DoReMi}, a novel language model grounding framework that enables immediate Detection and Recovery from Misalignments between plan and execution. Specifically, we leverage LLMs to play a dual role, aiding not only in high-level planning but also generating constraints that can indicate misalignment during execution. Then vision language models (VLMs) are utilized to detect constraint violations continuously. Our pipeline can monitor the low-level execution and enable timely recovery if certain plan-execution misalignment occurs. Experiments on various complex tasks including robot arms and humanoid robots demonstrate that our method can lead to higher task success rates and shorter task completion times. Videos of DoReMi are available at \url{https://sites.google.com/view/doremi-paper}.

研究动机与目标

• 解决机器人任务执行中的关键问题：由于环境干扰或控制器错误，低层动作偏离高层语言计划。
• 实现在执行过程中立即检测此类错位，而非依赖步骤完成后的延迟反馈。
• 通过在检测到约束违反时快速重新规划，提高任务成功率并减少执行时间。
• 利用 LLM 在高层规划和生成可执行约束以供低层监控中的双重角色。
• 将视觉语言模型集成为轻量级、精确的约束检测器，仅关注相关物理条件。

提出的方法

• LLMs 生成包含嵌入物理约束的高层文本计划（例如：'红色积木在棕色积木上'），以指导执行。
• 在执行过程中，视觉语言模型（VLM）持续监控环境，并检查是否存在任何约束违反。
• 若检测到约束违反（例如：红色积木不再位于棕色积木上），系统将通过 LLM 触发立即重新规划。
• 重新规划过程根据当前状态和更新后的约束动态调整动作序列。
• 该框架以闭环方式运行，实现在任务执行全过程中的持续监控与恢复。
• 该方法依赖 LLM 进行约束生成，VLM 进行实时二值约束验证，最大限度减少计算开销。

实验结果

研究问题

• RQ1 实时检测计划执行错位是否能提升长时程机器人任务的任务成功率？
• RQ2 在检测到约束违反时立即重新规划，与依赖延迟反馈相比，在任务完成时间上有何差异？
• RQ3 LLMs 是否能有效生成反映物理世界依赖关系的有意义且可执行的约束？
• RQ4 VLM 在低层机器人执行过程中，能否准确且高效地检测约束违反？
• RQ5 在实现错位后立即恢复的情况下，任务性能的理论与实证改进程度如何？

主要发现

• DoReMi 显著提升了涉及机械臂和人形机器人的复杂操作任务的任务成功率。
• 该框架通过实现立即恢复而非继续执行失败动作，将平均任务完成时间减少。
• VLM 实时检测到约束违反，使系统能够无需等待步骤完成即可迅速重新规划。
• LLM 在规划与约束生成中的双重使用，增强了高层意图与低层执行之间的对齐。
• 将 VLM 集成为聚焦的约束检测器，提供了精确反馈且计算成本极低。
• 仿真中的实证结果表明，DoReMi 的表现优于依赖延迟反馈或缺乏约束监控的基线方法。