[论文解读] CAJun: Continuous Adaptive Jumping using a Learned Centroidal Controller

Yuxiang Yang, Guanya Shi+5 more|arXiv (Cornell University)|Jun 16, 2023

Robotic Locomotion and Control被引用 6

一句话总结

CAJun 是一种分层强化学习框架，通过结合高层心轴策略与基于二次规划（QP）的低层腿部控制器，使四足机器人能够执行连续、自适应的长距离跳跃。该框架在单张GPU上训练时间不足20分钟，即可在Unitree Go1机器人上实现70厘米的越障能力，且仿真到现实的域差距极小，在真实环境部署中优于端到端强化学习方法。

ABSTRACT

We present CAJun, a novel hierarchical learning and control framework that enables legged robots to jump continuously with adaptive jumping distances. CAJun consists of a high-level centroidal policy and a low-level leg controller. In particular, we use reinforcement learning (RL) to train the centroidal policy, which specifies the gait timing, base velocity, and swing foot position for the leg controller. The leg controller optimizes motor commands for the swing and stance legs according to the gait timing to track the swing foot target and base velocity commands using optimal control. Additionally, we reformulate the stance leg optimizer in the leg controller to speed up policy training by an order of magnitude. Our system combines the versatility of learning with the robustness of optimal control. By combining RL with optimal control methods, our system achieves the versatility of learning while enjoys the robustness from control methods, making it easily transferable to real robots. We show that after 20 minutes of training on a single GPU, CAJun can achieve continuous, long jumps with adaptive distances on a Go1 robot with small sim-to-real gaps. Moreover, the robot can jump across gaps with a maximum width of 70cm, which is over 40% wider than existing methods.

研究动机与目标

• 使四足机器人能够在具有大间隙的复杂地形上执行连续、自适应的长距离跳跃。
• 减少基于学习的跳跃策略在四足机器人中从仿真到现实的域差距。
• 开发一种训练高效的框架，结合强化学习的灵活性与基于优化控制的鲁棒性。
• 在无需大量奖励工程或仿真到现实的微调情况下，实现高性能跳跃。

提出的方法

• 通过强化学习训练高层心轴策略，输出步态时序、基底速度和摆动脚位置目标。
• 低层腿部控制器使用二次规划（QP）在500Hz频率下计算最优电机指令，确保实时反馈与鲁棒性。
• 将支撑腿优化器重新表述为带截断的最小二乘问题，相比标准QP将训练时间减少10倍。
• 该框架采用分层控制结构：心轴策略设定高层运动目标，腿部控制器以精确的力矩跟踪执行这些目标。
• 系统在仿真环境中使用单张GPU进行训练，并零样本（zero-shot）部署到真实的Unitree Go1机器人上。
• 该方法支持多种步态（如跳跃步态、弹跳步态），并可根据用户指令实现自适应跳跃距离。

Figure 1: Overview of the hierarchical framework of CAJun.

实验结果

研究问题

• RQ1 分层强化学习与优化框架是否能实现四足机器人在极小仿真到现实域差距下的连续、自适应长距离跳跃？
• RQ2 将基于QP的腿部控制器重新表述为带截断的最小二乘问题，对训练速度与策略性能有何影响？
• RQ3 所学习的心轴策略是否能在不同步态（如跳跃步态与弹跳步态）之间泛化，同时保持高跳跃距离与稳定性？
• RQ4 在动态扰动下，CAJun与端到端强化学习在真实世界部署与仿真到仿真迁移中的表现如何比较？
• RQ5 哪些设计组件（如摆动残差、步态调制）对于实现长距离跳跃至关重要？

主要发现

• CAJun 实现了最大70厘米的越障能力，比现有方法宽出40%以上。
• 该策略成功实现零样本迁移至真实的Unitree Go1机器人，无需微调即可完成连续跳跃。
• 相比标准QP训练，训练时间减少10倍，可在单张GPU上20分钟内完成策略训练。
• 在真实世界测试中，CAJun在弹跳步态下比端到端强化学习高出25%的总质心位移，在跳跃步态下高出185%。
• 消融实验表明，摆动残差与步态调制对长距离跳跃至关重要，而无参考轨迹的直接摆动脚控制会显著降低复杂步态下的性能。
• 重新表述的QP求解器在保持策略性能的同时大幅提高训练效率，其优势可扩展至其他步态（如爬行与快跑）。”