[论文解读] ChatGPT Empowered Long-Step Robot Control in Various Environments: A Case Application

Naoki Wake, Atsushi Kanehira+3 more|arXiv (Cornell University)|Apr 8, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本文提出了一种少样本提示框架，使 OpenAI 的 ChatGPT 能够从自然语言指令生成可执行的多步骤机器人动作规划，同时处理环境上下文并缓解 token 限制。通过在多轮对话中复用环境状态估计，并支持自然语言反馈，该方法在首次尝试时实现了 36% 的正确且可执行规划，经反馈后提升至接近 100%，并为机器人应用提供了开源且可自定义的提示模板。

ABSTRACT

This paper demonstrates how OpenAI's ChatGPT can be used in a few-shot setting to convert natural language instructions into a sequence of executable robot actions. The paper proposes easy-to-customize input prompts for ChatGPT that meet common requirements in practical applications, such as easy integration with robot execution systems and applicability to various environments while minimizing the impact of ChatGPT's token limit. The prompts encourage ChatGPT to output a sequence of predefined robot actions, represent the operating environment in a formalized style, and infer the updated state of the operating environment. Experiments confirmed that the proposed prompts enable ChatGPT to act according to requirements in various environments, and users can adjust ChatGPT's output with natural language feedback for safe and robust operation. The proposed prompts and source code are open-source and publicly available at https://github.com/microsoft/ChatGPT-Robot-Manipulation-Prompts

研究动机与目标

• 通过类似 ChatGPT 的大语言模型，实现实用的、少样本的、从自然语言到机器人动作的端到端任务规划。
• 设计可无缝集成至机器人执行系统与视觉识别流程的提示模板。
• 通过在规划步骤间复用环境状态描述，减轻 token 限制的影响。
• 通过自然语言反馈支持人机协同优化，提升任务规划的鲁棒性与安全性。
• 为机器人研究领域提供开源、可自定义的提示模板，以促进广泛应用。

提出的方法

• 设计提示，赋予 ChatGPT 任务规划者的角色，以结构化、可解析为 JSON 的格式定义机器人动作。
• 在动作前后显式表示环境状态（如物体位置），以维持上下文连贯性。
• 将操作后的环境描述复用于后续规划步骤的输入，从而最小化提示长度与状态追踪需求。
• 结构化提示，使其同时输出动作序列与环境更新，支持迭代优化。
• 利用 ChatGPT 的少样本学习与对话能力，适应不同表达方式的指令与用户反馈。
• 通过 Azure OpenAI 部署，确保数据隐私并符合安全标准。

实验结果

研究问题

• RQ1 在多样化家庭环境中，ChatGPT 能否从自然语言指令生成可执行的多步骤机器人动作规划？
• RQ2 所提出的提示策略在长时程任务规划中，对缓解 token 限制影响的效果如何？
• RQ3 自然语言反馈在多大程度上能提升任务规划的正确性与可执行性？
• RQ4 同一提示模板是否可在无需微调的情况下有效适配不同机器人环境？
• RQ5 在指令表达方式变化的情况下，系统性能如何保持一致的规划质量？

主要发现

• 在 VirtualHome 评估中，36% 的任务规划在首次尝试时即正确且可执行，经多轮自然语言反馈后性能接近 100%。
• 系统成功为多样化家庭环境中的多步任务生成了有效动作序列，包括在置物架、冰箱和抽屉前的操作。
• 该方法对指令表达方式的变化具有鲁棒性，在语义相似但措辞不同的输入下保持一致的性能表现。
• 在规划步骤间复用环境状态描述，显著减少了提示长度，并消除了对完整对话历史存储的需求。
• 对话式接口支持有效的“人在回路”优化，用户可通过自然语言纠正或调整规划。
• 所提出的提示模板已开源并公开可用，为机器人社区提供可自定义、可复用的资源。