[论文解读] Minimizing Energy Consumption Leads to the Emergence of Gaits in Legged Robots

Zipeng Fu, Ashish Kumar+2 more|arXiv (Cornell University)|Oct 25, 2021

Robotic Locomotion and Control被引用 41

一句话总结

论文表明学习最小化能量在四足动物在平坦地形上出现步态（ walk、 trot、 bounce ）以及在不规则地形上出现无结构步态，在仿真和实际硬件上得到验证。

ABSTRACT

Legged locomotion is commonly studied and expressed as a discrete set of gait patterns, like walk, trot, gallop, which are usually treated as given and pre-programmed in legged robots for efficient locomotion at different speeds. However, fixing a set of pre-programmed gaits limits the generality of locomotion. Recent animal motor studies show that these conventional gaits are only prevalent in ideal flat terrain conditions while real-world locomotion is unstructured and more like bouts of intermittent steps. What principles could lead to both structured and unstructured patterns across mammals and how to synthesize them in robots? In this work, we take an analysis-by-synthesis approach and learn to move by minimizing mechanical energy. We demonstrate that learning to minimize energy consumption plays a key role in the emergence of natural locomotion gaits at different speeds in real quadruped robots. The emergent gaits are structured in ideal terrains and look similar to that of horses and sheep. The same approach leads to unstructured gaits in rough terrains which is consistent with the findings in animal motor control. We validate our hypothesis in both simulation and real hardware across natural terrains. Videos at https://energy-locomotion.github.io

研究动机与目标

• 推动从预先编程的步态库转向由能量驱动的步态涌现，以用于多足机器人。
• 证明能量最小化可以在平坦地形下以不同速度产生结构化步态，在不平整地形下产生无结构步态。
• 展示将能量驱动策略从仿真迁移到真实四足机器人。
• 提供一个以速度为条件的策略，以实现跨速度的平滑步态转换。

提出的方法

• 采用端到端的、无模型强化学习框架，学习在前进的同时最小化能量的关节角动作。
• 将策略定义为一个多层感知机，输入状态（30D）和前一动作（12D），预测12个关节目标角，并通过PD控制器转换为力矩。
• 采用生物能量学基础的奖励：r = r_forward + alpha1 * r_energy + r_alive，其中 r_energy = -tau^T qdot。
• 在分形地形上进行训练，以促进稳健的抬脚高度并防止对人工惩罚的依赖。
• 使用 Rapid Motor Adaptation (RMA) 将策略迁移到真实机器人，以实现对外参的仿真到现实适配。
• 采用带有速度条件的学习方案，并从专家、速度特定的策略进行蒸馏，以实现平滑的步态转换。

实验结果

研究问题

• RQ1 仅靠能量最小化是否能够在不同速度下产生自然的、类似步态的模式，而不需要预先设定的步态？
• RQ2 平坦地形上的涌现步态是否与家畜和马匹中已知的动物步态及 Froude 数范围相对应？
• RQ3 当目标速度变化时，带速度条件的策略是否能够在涌现步态之间实现平滑过渡？
• RQ4 在多样地形上，对真实四足动物执行能量高效、涌现步态策略的仿真到现实迁移是否可行？

主要发现

• 在平坦地形上，随着速度的增加，涌现步态包括 walk、 trot 和 bounce，能效引导步态选择。
• 在相应速度下的涌现步态与基于 Froude 数的羊和马的相似性一致，且没有任何步态的预编程。
• 在不平整地形上，相同框架产生不结构、无规律的步态，与自然动物运动一致。
• 实际部署显示速度与目标速度非常接近（例如目标 0.375、0.9、1.5 m/s 对应的实际值），并且能量效率优于凸优化 MPC 基线。
• 带有从专家步态策略蒸馏的速度条件策略能够在连续速度范围内实现平滑过渡，展示出鲁棒的仿真到现实迁移。