[论文解读] ALLSTEPS: Curriculum-driven Learning of Stepping Stone Skills

Zhaoming Xie, Hung Yu Ling+2 more|arXiv (Cornell University)|May 9, 2020

Human Motion and Animation参考文献 37被引用 5

一句话总结

本文提出 ALLSTEPS，一种基于课程的深度强化学习框架，可在无需动作捕捉数据的情况下，为双足角色学习稳健、基于物理的踏脚石步态运动。通过四种课程策略逐步提升任务难度，该方法在人形角色、模拟双足机器人（Cassie）以及怪物角色上实现了高效学习与泛化，且所学策略可迁移至连续不规则地形。

ABSTRACT

Humans are highly adept at walking in environments with foot placement constraints, including stepping-stone scenarios where the footstep locations are fully constrained. Finding good solutions to stepping-stone locomotion is a longstanding and fundamental challenge for animation and robotics. We present fully learned solutions to this difficult problem using reinforcement learning. We demonstrate the importance of a curriculum for efficient learning and evaluate four possible curriculum choices compared to a non-curriculum baseline. Results are presented for a simulated human character, a realistic bipedal robot simulation and a monster character, in each case producing robust, plausible motions for challenging stepping stone sequences and terrains.

研究动机与目标

• 开发一种通用的、无需数据的复杂踏脚石步态学习方法，适用于基于物理的仿真环境。
• 研究课程设计对复杂双足步态任务中学习效率与策略质量的影响。
• 展示所学踏脚石策略在预规划脚掌落点的连续不规则地形上的可迁移性。
• 生成符合角色生物力学限制、而非学习算法限制的自然、物理一致的动作。
• 仅通过强化学习与奖励塑造，实现对多样化、受限地形的稳健导航。

提出的方法

• 该方法采用深度强化学习，其奖励函数强调平衡、前进进度与能效，同时惩罚跌倒与过度能耗。
• 通过缩放步高、步距与任务复杂度，课程策略逐步提升任务难度，起始于简单的平面序列。
• 评估了四种不同的课程：固定进度、基于适应性难度估计、基于成功情况的进度，以及带难度过滤的随机采样。
• 策略采用两步前瞻机制以预判未来步态，通过可配置的前瞻延迟模拟人类反应时间，控制动作的保守性。
• 奖励函数包含一个“存活奖励”，用于维持最低躯干高度，鼓励稳定、直立的步态，抑制脚尖行走或屈膝姿势。
• 策略在物理引擎中进行仿真训练，其可迁移性在离散踏脚石序列与连续不平地形上均进行了测试。

实验结果

研究问题

• RQ1 仅靠深度强化学习是否能独立学习到稳健、自然的踏脚石步态，而无需动作捕捉数据？
• RQ2 课程学习如何影响仿真环境中复杂双足步态学习的效率与成功率？
• RQ3 在固定、自适应、基于成功情况或带过滤的随机采样课程策略中，哪一种能产生最有效且泛化能力最强的策略？
• RQ4 所学踏脚石策略在预规划脚掌落点的连续不规则地形上，其可迁移性达到何种程度？
• RQ5 不同角色形态（人形、Cassie、怪物）如何影响策略行为与学习动态？

主要发现

• 基于课程的方法显著优于非课程基线，使原本无法实现的复杂踏脚石任务得以成功学习。
• 自适应课程（基于水平与直线路径的步态难度估计）在不同角色间表现出优异的性能与可扩展性。
• 人形角色学习到一种可调节步态节奏的灵活步态，以适应后续步态组合；而 Cassie 固定的步态节奏导致其更谨慎地仅前瞻一步。
• 在 30 帧前瞻延迟下，策略平均行走速度达 1.35 m/s，接近人类步行速度；当延迟减小后，速度可提升至 2.10 m/s。
• 策略在预规划脚掌落点的连续地形中表现出良好的泛化能力，证明其可迁移性超越离散踏脚石场景。
• 尽管存在随机性波动，策略始终生成合理、物理一致的动作，人形角色因能量惩罚偏好采用屈臂姿势。