[论文解读] ProgPrompt: Generating Situated Robot Task Plans using Large Language Models
ProgPrompt 使用 Python 风格、代码结构化的提示方案,在环境感知的状态反馈下生成可执行的机器人任务计划,在虚拟和现实世界情境中提升计划有效性与成功率。
Task planning can require defining myriad domain knowledge about the world in which a robot needs to act. To ameliorate that effort, large language models (LLMs) can be used to score potential next actions during task planning, and even generate action sequences directly, given an instruction in natural language with no additional domain information. However, such methods either require enumerating all possible next steps for scoring, or generate free-form text that may contain actions not possible on a given robot in its current context. We present a programmatic LLM prompt structure that enables plan generation functional across situated environments, robot capabilities, and tasks. Our key insight is to prompt the LLM with program-like specifications of the available actions and objects in an environment, as well as with example programs that can be executed. We make concrete recommendations about prompt structure and generation constraints through ablation experiments, demonstrate state of the art success rates in VirtualHome household tasks, and deploy our method on a physical robot arm for tabletop tasks. Website at progprompt.github.io
研究动机与目标
- 使大模型能够生成受环境状态和可用动作约束的、具备情境性的、可执行的机器人任务计划。
- 通过前提条件和断言将环境反馈引入,以从失败中恢复。
- 利用带注释的、受编程语言启发的提示来引导推理和计划结构。
- 在虚拟家居任务和真实机器人臂上展示有效性。
- 将 ProgPrompt 与自然语言提示及现有方法进行比较,以确立改进。
提出的方法
- 将机器人计划表示为可执行的类似 Python 的程序,包括操作调用、注释和断言。
- 向大模型提供可用动作的基于 import 的视图以及环境对象列表,以把输出限制为可执行步骤。
- 在代码中包含自然语言注释,以引导子任务推理并提升计划一致性。
- 使用前提断言和恢复动作,当环境状态违背假设时实现计划修复。
- 训练/测试涉及 VirtualHome 场景以及搭载抬举放置策略的 Franka-Emika Panda 机器人,在真实世界中整合 ViLD 进行对象定位。
实验结果
研究问题
- RQ1受编程语言启发的提示能否将大模型输出约束为在情境环境中的可执行机器人动作?
- RQ2前提断言与恢复动作是否提升了由大模型生成的计划的成功率和鲁棒性?
- RQ3带注释和导入的代码风格提示是否比自然语言提示在机器人任务规划中更有效?
- RQ4ProgPrompt 从虚拟环境到物理机器人执行的迁移能力如何?
主要发现
- ProgPrompt 在 VirtualHome 的多项指标上优于先前基线和 LangPrompt,基于 GPT-3 主干。
- 通过断言与恢复动作加入反馈,在多项指标上提升性能。
- 在提示代码中包含注释在多项指标上显著提升性能。
- Codex 和 Davinci 主干在某些配置下可能比 GPT-3 表现更好,其中 Codex 在测试中显示最强结果。
- 在物理机器人实验中,使用 ProgPrompt 生成的计划实现了较高的可执行性和计划成功率,尽管存在现实世界的不确定性。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。