[论文解读] Feedback Control For Cassie With Deep Reinforcement Learning

Zhaoming Xie, Glen Berseth+3 more|arXiv (Cornell University)|Mar 15, 2018

Robotic Locomotion and Control参考文献 18被引用 21

一句话总结

本文提出了一种基于深度强化学习（DRL）的框架，用于在真实的MuJoCo仿真环境中训练Cassie双足机器人的鲁棒、无模型反馈控制器。通过将模仿学习表述为马尔可夫决策过程，该方法学习到的控制器能够在不同速度下跟踪参考运动，展现出对感知延迟、不平坦地形以及大外部推力的鲁棒性，且通过策略插值实现了自适应步态速度控制。

ABSTRACT

Bipedal locomotion skills are challenging to develop. Control strategies often use local linearization of the dynamics in conjunction with reduced-order abstractions to yield tractable solutions. In these model-based control strategies, the controller is often not fully aware of many details, including torque limits, joint limits, and other non-linearities that are necessarily excluded from the control computations for simplicity. Deep reinforcement learning (DRL) offers a promising model-free approach for controlling bipedal locomotion which can more fully exploit the dynamics. However, current results in the machine learning literature are often based on ad-hoc simulation models that are not based on corresponding hardware. Thus it remains unclear how well DRL will succeed on realizable bipedal robots. In this paper, we demonstrate the effectiveness of DRL using a realistic model of Cassie, a bipedal robot. By formulating a feedback control problem as finding the optimal policy for a Markov Decision Process, we are able to learn robust walking controllers that imitate a reference motion with DRL. Controllers for different walking speeds are learned by imitating simple time-scaled versions of the original reference motion. Controller robustness is demonstrated through several challenging tests, including sensory delay, walking blindly on irregular terrain and unexpected pushes at the pelvis. We also show we can interpolate between individual policies and that robustness can be improved with an interpolated policy.

研究动机与目标

• 开发一种完全利用真实机器人动力学特性的无模型、基于深度强化学习的反馈控制框架，用于双足行走。
• 证明DRL能够在Cassie机器人的真实仿真环境中生成鲁棒、高性能的行走控制器，克服基于模型控制的局限性。
• 通过重新定时参考运动，实现对不同行走速度的控制器学习，即使在物理上不可行的情况下亦可实现。
• 通过在不同速度控制器之间进行策略插值，提升控制器的鲁棒性。
• 在感知延迟、盲走不规则地形以及外部推力等挑战性条件下验证该方法的有效性。

提出的方法

• 将反馈控制问题表述为马尔可夫决策过程（MDP），目标是学习一个能够模仿参考运动的最优策略。
• 使用多层神经网络参数化策略，实现从状态和参考轨迹输入到控制动作的端到端学习。
• 使用基于跟踪误差和稳定性指标的稀疏密集奖励，通过策略梯度强化学习训练策略。
• 通过时间缩放原始参考轨迹，生成不同速度的参考运动，即使导致物理上不可行的运动（如脚部滑动）亦可实现。
• 通过基于参数λ混合两个策略的动作实现策略插值，从而在不同速度的步态之间实现平滑过渡。
• 实现自适应插值，根据机器人当前速度动态调整λ，使其在坡道上自然加速或减速。

实验结果

研究问题

• RQ1 深度强化学习能否在不依赖简化动力学模型的情况下，为Cassie这类真实双足机器人学习到鲁棒的无模型反馈控制器？
• RQ2 DRL在学习跟踪物理上不可行的参考运动（如时间缩放后出现脚部滑动的步态）方面效果如何？
• RQ3 在不平坦地形上，不同速度控制器之间的插值策略是否比单一速度策略更具鲁棒性？
• RQ4 DRL-based控制器在应对真实世界挑战（如感知延迟、盲走、大外部扰动）方面的能力有多强？
• RQ5 该框架能否扩展至实现对新参考运动（如跑步或跳跃）的零样本适应？

主要发现

• 基于DRL的控制器成功学习在不同速度下行走，即使参考运动经时间缩放后导致脚部滑动（物理上不可行），仍能实现。
• 控制器对高达100 ms的感知延迟表现出鲁棒性，维持稳定步态且性能无明显下降。
• 在不平坦地形上，插值策略使机器人能够在高度达0.22 m的正弦形地形上稳定行走，显著优于非插值策略。
• 控制器可承受高达50 N的前向推力、70 N的后向推力以及15 N的侧向推力，表现出强大的抗干扰能力。
• 插值策略使机器人能够自然地在坡道上加速或减速，实现无需额外训练的自适应步态控制。
• 通过引入新参考运动，该框架可扩展至新行为，表明其具备实现多样化运动任务零样本学习的潜力。