[论文解读] A CPG-Based Agile and Versatile Locomotion Framework Using Proximal Symmetry Loss

Mohammadreza Kasaei, Miguel Henriques Abreu+3 more|arXiv (Cornell University)|Mar 1, 2021

Robotic Locomotion and Control被引用 5

一句话总结

本文提出了一种基于CPG的混合行走框架，结合了闭环线性倒立摆模型（LIPM）驱动的行走引擎与通过新型近端对称损失（PSL）函数增强的近端策略优化（PPO）。该方法在复杂地形上实现了高样本效率和对干扰的鲁棒性，具备敏捷性和全向行走能力，在仅在一个场景下训练的情况下，模拟中实现了类人稳定性与泛化能力。

ABSTRACT

Humanoid robots are made to resemble humans but their locomotion abilities are far from ours in terms of agility and versatility. When humans walk on complex terrains, or face external disturbances, they combine a set of strategies, unconsciously and efficiently, to regain stability. This paper tackles the problem of developing a robust omnidirectional walking framework, which is able to generate versatile and agile locomotion on complex terrains. The Linear Inverted Pendulum Model and Central Pattern Generator concepts are used to develop a closed-loop walk engine, which is then combined with a reinforcement learning module. This module learns to regulate the walk engine parameters adaptively, and generates residuals to adjust the robot's target joint positions (residual physics). Additionally, we propose a proximal symmetry loss function to increase the sample efficiency of the Proximal Policy Optimization algorithm, by leveraging model symmetries and the trust region concept. The effectiveness of the proposed framework was demonstrated and evaluated across a set of challenging simulation scenarios. The robot was able to generalize what it learned in unforeseen circumstances, displaying human-like locomotion skills, even in the presence of noise and external pushes.

研究动机与目标

• 开发一种鲁棒、敏捷且多功能的全向人形机器人行走框架。
• 通过利用模型对称性，提升深度强化学习在行走任务中的样本效率。
• 通过自适应策略学习，实现对未预见地形和干扰的泛化能力。
• 将解析式CPG控制与无模型残差学习相结合，以增强稳定性和适应性。
• 展示新型近端对称损失（PSL）函数在加速PPO训练方面的有效性。

提出的方法

• 基于线性倒立摆模型（LIPM）和部分傅里叶级数（PFS）振荡器，设计了闭环CPG-ZMP行走引擎。
• 通过专家调优的PD控制器稳定行走引擎，确保步态生成的一致性。
• 近端策略优化（PPO）智能体学习自适应调整行走引擎参数，并生成残差关节位置目标。
• 提出一种新型近端对称损失（PSL）函数，通过利用马尔可夫决策过程（MDP）中的时空对称性，提升样本效率。
• PSL函数将信任区域原理与基于对称性的数据增强相结合，提升学习稳定性和收敛性。
• 在仿真环境中对COMAN人形机器人在四种不同地形场景下评估该框架，训练仅限于一个环境。

实验结果

研究问题

• RQ1 基于CPG与深度强化学习的混合框架是否能在复杂地形上实现敏捷且多功能的行走？
• RQ2 在基于PPO的行走学习中，引入模型对称性如何提升样本效率？
• RQ3 在单一地形上训练的策略在未见的复杂和动态环境中，其泛化能力达到何种程度？
• RQ4 残差物理学习是否能增强基于CPG的行走引擎的稳定性和适应性？
• RQ5 所提出的近端对称损失（PSL）函数是否在样本效率方面优于标准PPO及现有基于对称性的损失函数？

主要发现

• PPO+PSL框架在样本效率方面表现更优，相较于标准PPO和PPO+MSL，在不同批量大小下收敛更快且性能更稳定。
• 在每批4000个样本时，PPO+PSL优于PPO和PPO+MSL，证明了对称感知学习的有效性。
• 机器人能将所学技能泛化至未见场景，包括不平整地形和外部推力。
• 在受到外部推力时，机器人能通过向推力方向迈步实现恢复，即使未显式训练该行为。
• 平均而言，最佳模型可抵抗400 N的推力达每集29秒，相当于每集约7次推力。
• 该框架实现了类人行走，具备鲁棒的平衡恢复能力，相关可视化见补充视频（https://youtu.be/mpGYdoPIMo）。”