[论文解读] AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers

Yongchao Chen, Jacob Arkin+4 more|arXiv (Cornell University)|Jun 10, 2023

Natural Language Processing Techniques被引用 9

一句话总结

AutoTAMP 将自然语言任务翻译为 STL 规范，再使用正式的 STL 规划器进行联合任务与运动规划，并通过自回归语义错误检查来改进计划的可行性。

ABSTRACT

For effective human-robot interaction, robots need to understand, plan, and execute complex, long-horizon tasks described by natural language. Recent advances in large language models (LLMs) have shown promise for translating natural language into robot action sequences for complex tasks. However, existing approaches either translate the natural language directly into robot trajectories or factor the inference process by decomposing language into task sub-goals and relying on a motion planner to execute each sub-goal. When complex environmental and temporal constraints are involved, inference over planning tasks must be performed jointly with motion plans using traditional task-and-motion planning (TAMP) algorithms, making factorization into subgoals untenable. Rather than using LLMs to directly plan task sub-goals, we instead perform few-shot translation from natural language task descriptions to an intermediate task representation that can then be consumed by a TAMP algorithm to jointly solve the task and motion plan. To improve translation, we automatically detect and correct both syntactic and semantic errors via autoregressive re-prompting, resulting in significant improvements in task completion. We show that our approach outperforms several methods using LLMs as planners in complex task domains. See our project website https://yongchao98.github.io/MIT-REALM-AutoTAMP/ for prompts, videos, and code.

研究动机与目标

• 将自然语言任务描述翻译为 TAMP 求解器可执行的正式任务规范。
• 联合优化任务与运动规划，而非分解为子目标。
• 通过自回归语义检查与句法纠正来提高翻译质量。
• 在具有硬几何与时序约束的复杂二维任务域中评估鲁棒性。
• 提供数据集与代码以促进可重复性与进一步研究。

提出的方法

• 使用少量示例的在语境学习将自然语言任务描述翻译为 STL。
• 利用基于 STL 的多代理轨迹规划器生成可行的定时路径点轨迹。
• 应用两种再提示技术：带句法验证器的句法错误纠正与对原始指令的自回归语义检查。
• 在达到预定义迭代上限前迭代性地改进 STL 翻译以实现句法与语义的一致性。
• 在多样化的二维域中将 AutoTAMP 与端到端的 LLM 规划及基于 LLM 的任务规划基线进行比较。
• 可选地与经过微调的 NL2TL 翻译管道进行比较，以评估数据效率与性能。

Figure 1: Illustration of different approaches applying LLMs for task and motion planning; our work contributes the LLM-As-Translator & Checker approach. Each approach accepts a natural language instruction and environment state as input and outputs a robot trajectory.

实验结果

研究问题

• RQ1 将 NL 任务翻译为 STL 并用 STL 规划器求解是否在复杂的 TAMP 任务上优于端到端的 LLM 规划？
• RQ2 句法与语义再提示如何影响翻译质量与任务成功率？
• RQ3 AutoTAMP 是否能对具有时空约束的单代理和多代理任务实现泛化？
• RQ4 与 NL-to-logic 翻译器（如 NL2TL）相比，在性能与数据效率方面 AutoTAMP 的表现如何？

主要发现

• 带有句法与语义再提示的 AutoTAMP 在任务成功率方面显著优于未修正的翻译。
• 在具有硬时序或几何约束的单代理二维任务中，AutoTAMP 在许多场景下优于端到端 LLM 规划与天真任务规划。
• 基于 GPT-4 的翻译在大多数实验中通常优于基于 GPT-3 的翻译。
• 语义检查的自回归提示对比仅句法纠正及无纠正基线显示出显著提升。
• 消融研究表明，带再提示的 NL 到 STL 翻译可以接近微调 NL2TL 管线的性能，而无需额外训练数据。
• 实验涵盖二维与三维仿真以及在真实机器人上的物理演示，支持实际适用性。

Figure 2: GPT-4 failure case for direct end-to-end trajectory planning. The orange line shows the correct path obeying the instruction. The purple and gray dashed lines show the trajectories from GPT-4 after first and second prompts, respectively. GPT-4 generates a list of $(x,y)$ locations with ass