[论文解读] Hierarchical Reinforcement Learning for Quadruped Locomotion

Deepali Jain, Atıl Işçen+1 more|arXiv (Cornell University)|May 22, 2019

Robotic Locomotion and Control参考文献 14被引用 10

一句话总结

本文提出了一种用于四足机器人运动的分层强化学习框架，通过端到端训练自动发现低层运动技能。高层策略发出潜在指令并确定执行时长，而低层策略基于机载传感器数据执行，实现了与任务无关的技能学习、可迁移性以及在真实环境中的高效部署，并涌现出转向行为。

ABSTRACT

Legged locomotion is a challenging task for learning algorithms, especially when the task requires a diverse set of primitive behaviors. To solve these problems, we introduce a hierarchical framework to automatically decompose complex locomotion tasks. A high-level policy issues commands in a latent space and also selects for how long the low-level policy will execute the latent command. Concurrently, the low-level policy uses the latent command and only the robot's on-board sensors to control the robot's actuators. Our approach allows the high-level policy to run at a lower frequency than the low-level one. We test our framework on a path-following task for a dynamic quadruped robot and we show that steering behaviors automatically emerge in the latent command space as low-level skills are needed for this task. We then show efficient adaptation of the trained policy to a different task by transfer of the trained low-level policy. Finally, we validate the policies on a real quadruped robot. To the best of our knowledge, this is the first application of end-to-end hierarchical learning to a real robotic locomotion task.

研究动机与目标

• 为解决学习复杂足式运动任务的挑战，这些任务需要多样化的基础行为，而无需手动设计技能或奖励函数。
• 通过端到端的分层训练，实现低层策略向新任务的高效迁移。
• 通过在不同时间尺度上运行并使用不同的状态表示，将高层决策与低层控制解耦。
• 在真实四足机器人上验证该框架，证明其在动态环境中具备鲁棒性和泛化能力。

提出的方法

• 采用两级分层策略架构：高层策略发出潜在指令并确定执行时长，而低层策略仅使用机载传感器数据控制执行器。
• 高层策略的运行频率低于低层策略，从而实现状态更新速率的解耦，并降低通信负载。
• 通过最大熵强化学习端到端学习潜在命令空间，实现无需预定义行为的低层技能自动发现。
• 低层策略通过密集奖励进行训练，奖励由前进进度和转向精度构成，并采用上限奖励以防止过拟合。
• 该框架支持迁移学习：训练好的低层策略可被复用于新任务，实现快速适应。
• 运动捕捉数据用于低频的高层状态估计，而低层控制则使用高频的IMU和关节反馈。

实验结果

研究问题

• RQ1 分层强化学习框架是否能自动发现四足机器人运动的低层运动技能，而无需手动设计基础行为或奖励？
• RQ2 在路径跟踪任务中，潜在命令空间是否自然支持涌现的转向行为？
• RQ3 训练好的低层策略是否能有效迁移到新运动任务中，且仅需极少的微调？
• RQ4 该分层策略是否能在真实四足机器人上成功部署，并实现稳定可靠的性能？

主要发现

• 在训练过程中，潜在命令空间中自动涌现出转向行为，使机器人无需显式奖励设计即可沿曲线路径运动。
• 通过迁移学习，训练好的低层策略在新路径跟踪任务中实现了快速适应，显著缩短了训练时间。
• 该分层策略已成功部署于真实四足机器人，硬件实验中表现出稳定可靠的运动能力。
• 与采用预定义低层行为的基线方法相比，该框架表现更优，证明了端到端学习在技能发现中的优势。
• 高层策略的运行频率低于低层策略，降低了通信和处理负载，同时保持了性能。
• 该方法实现了与任务无关的可复用低层技能学习，即使仅在单一任务上进行训练，也因各层级使用不同的状态表示而实现有效学习。