[论文解读] ChatGPT for Robotics: Design Principles and Model Abilities

Sai Vemprala, Rogerio Bonatti+2 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用 90

一句话总结

本文研究一种感知-行动因果变换器（PACT）用于自回归机器人，考察数据收集、标记、模型规模和序列长度对实时导航和动作预测的影响。它强调模型容量、推理速度与部署性能之间的权衡。

ABSTRACT

This paper presents an experimental study regarding the use of OpenAI's ChatGPT for robotics applications. We outline a strategy that combines design principles for prompt engineering and the creation of a high-level function library which allows ChatGPT to adapt to different robotics tasks, simulators, and form factors. We focus our evaluations on the effectiveness of different prompt engineering techniques and dialog strategies towards the execution of various types of robotics tasks. We explore ChatGPT's ability to use free-form dialog, parse XML tags, and to synthesize code, in addition to the use of task-specific prompting functions and closed-loop reasoning through dialogues. Our study encompasses a range of tasks within the robotics domain, from basic logical, geometrical, and mathematical reasoning all the way to complex domains such as aerial navigation, manipulation, and embodied agents. We show that ChatGPT can be effective at solving several of such tasks, while allowing users to interact with it primarily via natural language instructions. In addition to these studies, we introduce an open-sourced research tool called PromptCraft, which contains a platform where researchers can collaboratively upload and vote on examples of good prompting schemes for robotics applications, as well as a sample robotics simulator with ChatGPT integration, making it easier for users to get started with using ChatGPT for robotics.

研究动机与目标

• 了解感知-行动因果变换器如何用于自主机器人任务的预训练。
• 评估数据集大小、模型深度和序列长度对导航准确性与延迟的影响。
• 分析注意力模式以解释在机器人控制中如何建模时间依赖性。
• 评估在机器人平台上不同模型尺寸的实时部署考虑因素。

提出的方法

• 在真实的办公室平面图和 Habitat 环境中，使用 MuSHR 和基于 MPC 的轨迹库收集感知-行动数据。
• 用特征模态的专用骨干网络进行标记化（RGB 使用 ResNet-18，2D LiDAR 使用 PointNet，真实世界数据的 BEV LiDAR 使用 ResNet-18）。
• 通过简单的多层感知器将离散动作映射到嵌入，将连续动作映射以生成 128-D 标记。
• 用变换器（12 层，8 头，嵌入长度 128，序列长度 16）进行预训练，采用分步上升的学习率和权重衰减；再用更小的学习率进行微调。
• 在导航指标（崩溃前的行驶距离（米））和动作预测 MAE 上评估模型变体（3、6、12、24 层）；分析注意力图和序列长度效应。

实验结果

研究问题

• RQ1 模型规模如何影响机器人控制中的预训练性能和实时导航稳定性？
• RQ2 训练数据规模对 PACT 模型的动作预测和部署性能有何影响？
• RQ3 序列长度和注意力模式如何影响机器人任务中的动作预测准确性与可解释性？
• RQ4 在实时机器人部署中，不同模型变体的推理时间与准确性之间的权衡是什么？
• RQ5 下游 Habitat 任务（映射/定位）对来自 PACT 的冻结表示与可训练表示有何反应？

主要发现

• 增加训练令牌通常会提高模型的预训练性能。
• 更大的变换器模型并不总是提高实时导航，因为推理延迟更高（例如，24 层模型比 3 层模型慢）。
• 注意力图显示时间有序的依赖性，某些注意头聚焦于起始点或状态更改点，随层而异。
• 更长的变换器序列降低动作预测 MAE，但增加训练和部署延迟；16 令牌序列提供了有利的权衡。
• 在实践中，较长的序列可获得更好的动作预测，但部署延迟必须与实时约束保持平衡。
• Habitat 下游任务的可视化显示了从头训练和来自 PACT 的冻结与可训练表示的结果，以及从零开始训练的情形。