[论文解读] MetaMorph: Learning Universal Controllers with Transformers

Agrim Gupta, Linxi Fan+2 more|arXiv (Cornell University)|Mar 22, 2022

Modular Robots and Swarm Intelligence被引用 12

一句话总结

MetaMorph 提出了一种基于 Transformer 的模块化机器人通用控制器，将机器人形态作为输入模态来条件化策略输出。在多种形态上进行预训练，使模型能够零样本泛化到未见过的动力学、运动学和任务，相较于从零开始训练，微调阶段的样本效率提高了 2–3 倍。

ABSTRACT

Multiple domains like vision, natural language, and audio are witnessing tremendous progress by leveraging Transformers for large scale pre-training followed by task specific fine tuning. In contrast, in robotics we primarily train a single robot for a single task. However, modular robot systems now allow for the flexible combination of general-purpose building blocks into task optimized morphologies. However, given the exponentially large number of possible robot morphologies, training a controller for each new design is impractical. In this work, we propose MetaMorph, a Transformer based approach to learn a universal controller over a modular robot design space. MetaMorph is based on the insight that robot morphology is just another modality on which we can condition the output of a Transformer. Through extensive experiments we demonstrate that large scale pre-training on a variety of robot morphologies results in policies with combinatorial generalization capabilities, including zero shot generalization to unseen robot morphologies. We further demonstrate that our pre-trained policy can be used for sample-efficient transfer to completely new robot morphologies and tasks.

研究动机与目标

• 解决在模块化机器人中为每种机器人形态单独训练控制器的挑战。
• 在不重新训练的情况下，实现对未见过的机器人形态、动力学和运动学变化的泛化。
• 通过预训练策略实现对新形态和新任务的样本高效迁移。
• 探究注意力机制中是否涌现出运动协同，从而解释高自由度机器人的控制机制。

提出的方法

• 将每个机器人表示为编码本体感觉和形态特征的模块级标记序列。
• 使用 Transformer 架构，基于完整的机器人形态序列来条件化策略输出。
• 在复杂 3D 环境中，对 15–20 自由度的多样化模块化机器人分布进行策略预训练。
• 实现动态回放缓冲区平衡，根据各机器人学习效率动态调整经验收集策略。
• 利用稳定秩分析注意力矩阵，检测控制策略中是否涌现出运动协同。
• 在少量数据下对新形态和任务微调预训练策略，实现迁移学习。

实验结果

研究问题

• RQ1 一个单一的预训练 Transformer 策略能否在 3D 行走任务中泛化到未见过的机器人形态和动力学？
• RQ2 大规模预训练在将策略迁移到新形态和新任务时，能在多大程度上提升样本效率？
• RQ3 Transformer 策略中的注意力机制是否表现出运动协同的特征，暗示对高自由度系统的结构化控制？
• RQ4 动态回放缓冲区平衡在学习复杂度各异的机器人之间，如何提升学习效率？
• RQ5 该策略能否在预训练阶段未见过的新任务和新形态上实现强大的零样本性能？

主要发现

• MetaMorph 在三个复杂 3D 环境中，对未见过的机器人形态、动力学和运动学变化均实现了强大的零样本泛化能力。
• 与从零开始训练相比，微调预训练的 MetaMorph 策略在新形态上实现了 2–3 倍的样本效率提升。
• 该策略能有效泛化到新任务，如从丘陵地形逃脱和绕过圆柱形障碍物导航，即使存在分布偏移也表现良好。
• 注意力矩阵分析显示稳定秩较低且呈现振荡模式，表明存在运动协同，即一组肢体被协同激活。
• 动态回放缓冲区平衡通过将更多经验分配给学习较慢的机器人，提升了整体训练效率并加速收敛。
• 预训练策略对硬件差异表现出鲁棒性，表明其在实际部署中具有实用性，且具备潜在的容错能力。