[论文解读] Learning Agile Robotic Locomotion Skills by Imitating Animals

Xue Bin Peng, Erwin Coumans+4 more|arXiv (Cornell University)|Apr 2, 2020

Robotic Locomotion and Control被引用 41

一句话总结

该论文提出一种模仿学习框架，使四足机器人通过模仿真实动物动作在仿真中通过领域随机化训练并通过潜在空间自适应转移到真实机器人，从而获得灵活的运动能力。

ABSTRACT

Reproducing the diverse and agile locomotion skills of animals has been a longstanding challenge in robotics. While manually-designed controllers have been able to emulate many complex behaviors, building such controllers involves a time-consuming and difficult development process, often requiring substantial expertise of the nuances of each skill. Reinforcement learning provides an appealing alternative for automating the manual effort involved in the development of controllers. However, designing learning objectives that elicit the desired behaviors from an agent can also require a great deal of skill-specific expertise. In this work, we present an imitation learning system that enables legged robots to learn agile locomotion skills by imitating real-world animals. We show that by leveraging reference motion data, a single learning-based approach is able to automatically synthesize controllers for a diverse repertoire behaviors for legged robots. By incorporating sample efficient domain adaptation techniques into the training process, our system is able to learn adaptive policies in simulation that can then be quickly adapted for real-world deployment. To demonstrate the effectiveness of our system, we train an 18-DoF quadruped robot to perform a variety of agile behaviors ranging from different locomotion gaits to dynamic hops and turns.

研究动机与目标

• 以学习驱动的方法动机并形式化在机器人中实现类动物敏捷性的挑战。
• 利用真实动物运动数据来引导策略学习，而无需手工设计具体技能的奖励。
• 通过领域随机化和潜在空间自适应开发一个样本高效的 sim-to-real 转移。
• 展示在18-DoF四足机器人上学习多样的敏捷行为并转移到真实机器人。

提出的方法

• 使用逆向运动学将动物动作片段重新定位到机器人形态。
• 在仿真中训练一个动作模仿策略，以目标条件输入再现重定向的动作。
• 使用PD控制的力矩输出以及基于姿态/速度的奖励来匹配参考轨迹。
• 在训练中引入领域随机化，使策略暴露于多变的动力学环境。
• 引入一个潜在动力学编码器，使策略以表示随机化动力学的潜在变量z为条件，带有信息瓶颈以权衡鲁棒性与适应性。
• 应用基于优势加权回归的自适应程序(AWR)在真实机器人上用少量试验自适应潜在编码z。

实验结果

研究问题

• RQ1 是否可以有效地利用真实动物运动来训练腿部机器人上的稳健、多样的移动技能？
• RQ2 在运动模仿和潜在空间自适应的引导下，sim-to-real 转移在动态步态下是否仍然成立？
• RQ3 在潜在动力学编码上执行信息瓶颈会如何影响在现实部署中的鲁棒性和适应性？
• RQ4 与非自适应或非随机化基线相比，领域随机化加潜在空间自适应对现实世界性能的影响如何？

主要发现

• 策略在18-DoF Laikago四足机器人上适应了多样的敏捷技能（步态、跳跃、转向）。
• 自适应策略在大多数技能上优于非自适应基线，转移到真实机器人时。
• 自适应方法使动态技能（例如 Dog Pace、Dog Spin）比鲁棒但非自适应策略执行得更可靠。
• 每个策略的训练使用约200百万个仿真样本和约50次真实世界试验来适应行为。
• 使用潜在空间自适应训练的策略在未见过的多种动态环境下的泛化能力优于非自适应策略。
• 倒序模仿的 mocap 数据（如狗步态）可以比制造商步态更快地在现实世界中实现速度，例如 1.08 m/s vs 0.84 m/s。