[论文解读] Imitating Task and Motion Planning with Visuomotor Transformers

Murtaza Dalal, Ajay Mandlekar+4 more|arXiv (Cornell University)|May 25, 2023

Robot Manipulation and Learning被引用 6

一句话总结

本文提出 OPTIMUS，一种通过模仿学习训练的视觉-运动 Transformer 策略，用于复现任务与运动规划（TAMP）智能体的行为，实现快速、反应灵敏且可泛化的机器人操作。通过利用 TAMP 自动生成的大规模、多样化示范数据，OPTIMUS 在涉及最多 8 个阶段和 72 种不同物体的 300 多项长时序任务中实现了 70–80% 的成功率，展现出卓越的泛化能力与端到端控制能力，且无需使用特权状态信息。

ABSTRACT

Imitation learning is a powerful tool for training robot manipulation policies, allowing them to learn from expert demonstrations without manual programming or trial-and-error. However, common methods of data collection, such as human supervision, scale poorly, as they are time-consuming and labor-intensive. In contrast, Task and Motion Planning (TAMP) can autonomously generate large-scale datasets of diverse demonstrations. In this work, we show that the combination of large-scale datasets generated by TAMP supervisors and flexible Transformer models to fit them is a powerful paradigm for robot manipulation. To that end, we present a novel imitation learning system called OPTIMUS that trains large-scale visuomotor Transformer policies by imitating a TAMP agent. OPTIMUS introduces a pipeline for generating TAMP data that is specifically curated for imitation learning and can be used to train performant transformer-based policies. In this paper, we present a thorough study of the design decisions required to imitate TAMP and demonstrate that OPTIMUS can solve a wide variety of challenging vision-based manipulation tasks with over 70 different objects, ranging from long-horizon pick-and-place tasks, to shelf and articulated object manipulation, achieving 70 to 80% success rates. Video results and code at https://mihdalal.github.io/optimus/

研究动机与目标

• 解决模仿学习中人工标注机器人示范数据收集的可扩展性与高成本问题。
• 通过利用自主生成的 TAMP 数据集，实现高效、反应灵敏且可泛化的视觉-运动策略。
• 研究并解决模仿 TAMP 所面临的挑战，如特权信息依赖与多模态示范，采用基于 Transformer 的架构。
• 开发一种可扩展的端到端视觉-运动策略，以高频率（30–50Hz）运行，且无需显式的任务级动作定位。
• 证明模仿 TAMP 可生成在多样化物体几何形状与任务实例间具有良好泛化能力的策略，超越 TAMP 在反应速度与实时执行方面的局限。

提出的方法

• OPTIMUS 在由 TAMP 监督智能体生成的成功轨迹大规模数据集上，通过离线行为克隆方法训练大规模视觉-运动 Transformer 策略。
• 系统处理原始观测（如 RGB 图像），以 30–50Hz 的频率输出低层控制指令，实现实时、反应灵敏的控制。
• 该架构设计为无需显式预测任务级动作即可隐式推理任务结构，从而在不同物体数量与任务阶段下实现泛化。
• 开发了一套数据生成流水线，利用 TAMP 生成多样化且任务相关的示范，TAMP 利用特权几何与语义信息生成高质量轨迹。
• 该方法整合了架构与训练方面的洞察，以应对多模态示范并减少专家策略与模仿策略之间的分布偏移。
• 该框架在广泛分布的长时序操作任务上进行了评估，包括抓取与放置、置物架放置以及可动部件物体操作。

Figure 1: Long-horizon task visualization. We visualize the initial state and each intermediate pick state for the pick-and-place task. Note there is significant variation in geometry across each object, requiring the agent to perform a diverse series of grasps to complete the task.

实验结果

研究问题

• RQ1 在无特权状态信息的前提下，通过模仿学习在 TAMP 生成的示范上训练的视觉-运动 Transformer 策略，能否在多样化、长时序的操作任务中实现泛化？
• RQ2 在可扩展的模仿学习框架中，如何有效应对模仿 TAMP 所带来的挑战，如对特权信息的依赖与多模态示范？
• RQ3 尽管基于 TAMP 的示范进行训练，所学习的策略在反应性与鲁棒性方面，能在多大程度上超越 TAMP 监督智能体？
• RQ4 在数据生成、网络架构与训练方面，哪些设计选择对于在视觉-运动设置中成功模仿 TAMP 至关重要？
• RQ5 所得到的策略能否在保持对不同物体几何形状与任务实例泛化能力的同时，实现高频、端到端控制？

主要发现

• OPTIMUS 在超过 300 项涉及最多 8 个阶段与 72 种不同物体的长时序操作任务中，实现了 70–80% 的成功率，展现出强大的泛化能力。
• 该策略能有效泛化到训练期间未见过的新物体几何形状与任务配置，表明其具备稳健的视觉推理与适应能力。
• 系统以 30–50Hz 的频率运行，实现实时、反应灵敏的控制，且无需显式预测任务级动作或估计特权状态。
• 视觉-运动 Transformer 策略成功模仿了复杂的、多模态的 TAMP 轨迹，包括涉及多次抓取与与多样化物体的顺序交互。
• 在动态或部分观测环境中的反应性与鲁棒性方面，所模仿策略的性能优于 TAMP 监督智能体。
• 本研究验证了由 TAMP 生成的大规模、多样化数据集在通过模仿学习训练可泛化、高频视觉-运动策略方面具有高度有效性。

Figure 2: OPTIMUS system . Column 1 : We generate a variety of tasks with differing initial configurations ( left ) and goals ( right ). Column 2 : We transform TAMP joint space demonstrations to task space ( top ), go from privileged scene knowledge in TAMP to visual observations ( middle ) and pru