[论文解读] Learning to Control Self-Assembling Morphologies: A Study of Generalization via Modularity

Deepak Pathak, Chris Xiaoxuan Lu+3 more|arXiv (Cornell University)|Feb 14, 2019

Modular Robots and Swarm Intelligence参考文献 35被引用 45

一句话总结

该论文训练原始机器人肢体，自组装形成形态，并通过 Dynamic Graph Networks 学习模块化控制器，相较固定形态的基线，在未见形态和环境上的泛化能力有所提升。

ABSTRACT

Contemporary sensorimotor learning approaches typically start with an existing complex agent (e.g., a robotic arm), which they learn to control. In contrast, this paper investigates a modular co-evolution strategy: a collection of primitive agents learns to dynamically self-assemble into composite bodies while also learning to coordinate their behavior to control these bodies. Each primitive agent consists of a limb with a motor attached at one end. Limbs may choose to link up to form collectives. When a limb initiates a link-up action, and there is another limb nearby, the latter is magnetically connected to the 'parent' limb's motor. This forms a new single agent, which may further link with other agents. In this way, complex morphologies can emerge, controlled by a policy whose architecture is in explicit correspondence with the morphology. We evaluate the performance of these dynamic and modular agents in simulated environments. We demonstrate better generalization to test-time changes both in the environment, as well as in the structure of the agent, compared to static and monolithic baselines. Project video and code are available at https://pathak22.github.io/modular-assemblies/

研究动机与目标

• 以多细胞组织为灵感，推动模块化自组装，作为获得可适应、具广泛泛化性的代理的一种途径。
• 通过在强化学习框架中将连接/断开视为动作，协同进化控制策略和形态。
• 开发与演化中的形态相一致的模块化策略，通过 dynamic graph networks (DGN) 来使模块化策略与不断演化的形态保持一致。
• 相较于单块基线，展示对新形态和新环境的零样本泛化能力的提升。

提出的方法

• 将自组装的代理表示为由磁性关节连接的肢体图。
• 每个肢体执行一个共享策略，输出扭矩以及链接/断开动作。
• 动力学：图的拓扑随时间根据策略输出而改变（DGN）。
• 通过边进行消息传递，在相连肢体之间协调，输入仅限于局部传感数据。
• 使用 PPO 优化，以最大化整个不断演化的图中各肢体奖励之和。
• 在不同地形和肢体数量的站立以及行进任务上进行评估。

实验结果

研究问题

• RQ1 一个联合学习的控制与形态策略能否泛化到未见的形态和环境？
• RQ2 相比单块策略，模块化、图结构的策略在肢体数量变化时是否具有更好的迁移性？
• RQ3 消息传递在跨动态组装形态的协调控制中的作用是什么？

主要发现

• Dynamic Graph Network 策略在站立和 locomotion 任务上优于单块基线。
• DGN 策略对不同肢体数量（例如从 6 个到 4 个或 12 个肢体）显示出强烈的零样本泛化。
• 软件的模块化（共享肢体策略）与硬件的自组装都比单独任一方面更有助于训练和泛化。
• 带有消息传递的 DGN 在长时程协调（站立起来）方面比在多形态均能成功的 locomotion 任务更有帮助。
• 在形态课程下训练的策略对新地形和干扰（风、水、障碍物）具有更好的泛化能力。