[论文解读] Teach Biped Robots to Walk via Gait Principles and Reinforcement Learning with Adversarial Critics

Kuangen Zhang, Zhimin Hou+3 more|arXiv (Cornell University)|Oct 22, 2019

Robotic Locomotion and Control参考文献 20被引用 5

一句话总结

本文提出了一种基于人类行走原理的步态奖励，并结合使用循环神经网络的对抗性TD3（ATD3_RNN），以提升双足机器人行走的强化学习性能。通过减少累积奖励估计中的局部极小值和过估计误差，该方法使测试奖励最高提升23.5%，并使机器人与人类步态的相似度提高69.23%。

ABSTRACT

Controlling a biped robot to walk stably is a challenging task considering its nonlinearity and hybrid dynamics. Reinforcement learning can address these issues by directly mapping the observed states to optimal actions that maximize the cumulative reward. However, the local minima caused by unsuitable rewards and the overestimation of the cumulative reward impede the maximization of the cumulative reward. To increase the cumulative reward, this paper designs a gait reward based on walking principles, which compensates the local minima for unnatural motions. Besides, an Adversarial Twin Delayed Deep Deterministic (ATD3) policy gradient algorithm with a recurrent neural network (RNN) is proposed to further boost the cumulative reward by mitigating the overestimation of the cumulative reward. Experimental results in the Roboschool Walker2d and Webots Atlas simulators indicate that the test rewards increase by 23.50% and 9.63% after adding the gait reward. The test rewards further increase by 15.96% and 12.68% after using the ATD3_RNN, and the reason may be that the ATD3_RNN decreases the error of estimating cumulative reward from 19.86% to 3.35%. Besides, the cosine kinetic similarity between the human and the biped robot trained by the gait reward and ATD3_RNN increases by over 69.23%. Consequently, the designed gait reward and ATD3_RNN boost the cumulative reward and teach biped robots to walk better.

研究动机与目标

• 解决通过端到端强化学习训练的双足机器人存在的步态不稳定与不自然的问题。
• 克服基于强化学习的行走控制中因奖励设计不佳导致的局部极小值问题。
• 通过减少累积奖励估计中的过估计误差，提升策略学习效率。
• 在不使用参考轨迹的情况下，增强机器人与人类行走模式之间的运动学相似性。
• 开发一种可扩展的、数据驱动的方法，将生物力学先验知识整合到深度强化学习中，用于双足行走。

提出的方法

• 基于人类行走原理设计一种步态奖励 $ \hat{r}^g $，用以惩罚不自然运动，并引导策略避开局部极小值。
• 提出ATD3_RNN，一种使用两个对抗性评论家的演员-评论家算法，以减少深度强化学习中的Q值过估计。
• 在评论家中集成循环神经网络（RNN），以建模状态-动作序列中的时序依赖关系，改善长时程信用分配。
• 通过平均两个评论家的Q值，进一步稳定学习过程并减少过估计偏差。
• 将步态奖励 $ \hat{r}^g $ 与默认密集奖励 $ r^d $ 结合，形成复合奖励信号用于训练。
• 在仿真环境（Roboschool Walker2d 和 Webots Atlas）中，使用TD3、ATD3 和 ATD3_RNN 变体训练策略，以评估性能。

实验结果

研究问题

• RQ1 基于人类步态原理设计的奖励是否能减少局部极小值并提升所学双足行走的自然性？
• RQ2 与标准TD3和DDPG相比，ATD3_RNN算法在累积奖励估计中减少过估计误差的程度如何？
• RQ3 在评论家中集成RNN如何改善双足行走中的时序信用分配与策略性能？
• RQ4 所提出方法在不使用参考轨迹的情况下，使机器人与人类行走步态的运动学相似度提升的程度如何？
• RQ5 步态奖励与ATD3_RNN的结合是否使测试奖励更高、行走更鲁棒，优于基线强化学习方法？

主要发现

• 与仅使用默认奖励相比，步态奖励 $ \hat{r}^g $ 在Roboschool Walker2d上使测试奖励提高了23.50%，在Webots Atlas上提高了9.63%。
• ATD3_RNN算法在Walker2d上使测试奖励进一步提升了15.96%，在Atlas上提升了12.68%，并将Q值估计误差从19.86%降低至3.35%。
• 与使用默认奖励的TD3相比，使用ATD3_RNN结合步态奖励后，人类与机器人步态的余弦运动学相似度提高了69.23%。
• 与TD3 + $ r^d $ 相比，Walker2d机器人在使用ATD3_RNN + $ r^d + \hat{r}^g $ 时，与人类运动的步态相似度提高了108.82%。
• Atlas机器人在使用所提方法时，步态相似度提高了69.23%，表明其生成类人运动的能力得到显著提升。
• 与基线TD3结合默认奖励相比，步态奖励与ATD3_RNN的结合在Walker2d和Atlas上分别使测试奖励提升了43.21%和23.53%。