[论文解读] Learning Modular Robot Control Policies

Julian Whitman, Matthew Travers+1 more|arXiv (Cornell University)|May 20, 2021

Modular Robots and Swarm Intelligence被引用 5

一句话总结

本文提出了一种基于图神经网络（GNN）的模块化策略框架，使单一训练好的策略能够控制由相同一组模块化组件构成的多样化机器人设计。通过将机器人运动学结构表示为设计图，并在相同模块之间共享参数，该策略可根据不同配置上下文自适应调整，实现在仿真和真实世界实验中对未见过的设计的有效零样本泛化。

ABSTRACT

Modular robots can be rearranged into a new design, perhaps each day, to handle a wide variety of tasks by forming a customized robot for each new task. However, reconfiguring just the mechanism is not sufficient: each design also requires its own unique control policy. One could craft a policy from scratch for each new design, but such an approach is not scalable, especially given the large number of designs that can be generated from even a small set of modules. Instead, we create a modular policy framework where the policy structure is conditioned on the hardware arrangement, and use just one training process to create a policy that controls a wide variety of designs. Our approach leverages the fact that the kinematics of a modular robot can be represented as a design graph, with nodes as modules and edges as connections between them. Given a robot, its design graph is used to create a policy graph with the same structure, where each node contains a deep neural network, and modules of the same type share knowledge via shared parameters (e.g., all legs on a hexapod share the same network parameters). We developed a model-based reinforcement learning algorithm, interleaving model learning and trajectory optimization to train the policy. We show the modular policy generalizes to a large number of designs that were not seen during training without any additional learning. Finally, we demonstrate the policy controlling a variety of designs to locomote with both simulated and real robots.

研究动机与目标

• 解决为每种独特的模块化机器人设计单独训练控制策略所带来的可扩展性挑战。
• 通过学习一个可适应任意相同模块配置的单一策略，实现模块化机器人的即插即用控制。
• 利用机器人设计中的结构相似性——以图的形式表示——在模块间共享知识，提升泛化能力。
• 开发一种基于模型的强化学习算法，实现对多样化机器人形态的高效策略训练，而无需重新训练。
• 在未见过的机器人设计上实现有效的零样本迁移，验证策略的泛化能力。

提出的方法

• 将任意模块化机器人的运动学结构表示为设计图，其中模块作为节点，连接关系作为边。
• 构建一个与设计图拓扑相同的策略图，其中每个节点包含一个深度神经网络，且相同模块类型共享参数。
• 使用图神经网络（GNN）通过图边上的消息传递实现模块间的通信，使策略能够根据上下文自适应调整行为。
• 开发一种基于模型的强化学习（MBRL）算法，通过交替进行模型学习和轨迹优化，实现样本高效的训练。
• 将策略条件化于机器人的设计图，构建一种硬件条件化的策略，使其能根据配置动态调整行为。
• 结合专家示范（通过TrajOpt获取）与迭代式模型学习和优化，以提升样本效率，训练策略。

Figure 1 : A set of modular components, a body, legs, and wheels, (top) can be combined to form many robot designs (middle). These designs can be represented by graphs (bottom). Our modular policy learning algorithm leverages the graph structure common to all such modular designs, enabling us to con

实验结果

研究问题

• RQ1 是否可以训练单一控制策略，在不重新训练的情况下泛化到大量不同的模块化机器人设计？
• RQ2 与非图基基线相比，图结构策略中相同模块之间的参数共享在性能上有多显著？
• RQ3 所学习的策略在未见的新机器人配置上实现零样本迁移的能力有多强？
• RQ4 与全连接或非结构化架构相比，引入基于图的消息传递是否能提升策略性能和适应性？
• RQ5 与无模型替代方案相比，所提出的MBRL框架在样本效率和性能方面表现如何？

主要发现

• 所提出的基于GNN的模块化策略在未见过的机器人设计上实现了有效的零样本泛化，其性能优于硬件条件化的MLP基线，在多种配置下均表现更优。
• 与MLP基线相比，GNN策略在腿数增多或轮子数减少时性能下降不那么明显。
• 速度匹配指标显示，GNN策略在包括六足机器人和腿轮混合构型在内的多种复杂设计中均保持高性能（平均V > 0.9）。
• 基于模型的强化学习框架实现了高效的训练，仅需较少的环境交互，每种设计在750–1000次专家轨迹回放中即实现稳定策略学习。
• 图结构的参数共享使模块能根据其功能角色（如前腿与后腿）自动调整行为，提升了协调性与行走稳定性。
• 在真实世界实验中，该策略成功控制了多种物理机器人设计，展示了超越仿真的鲁棒性与可迁移性。

(a)