[论文解读] Bipedal Walking Robot using Deep Deterministic Policy Gradient

Arun Kumar, Navneet Paul+1 more|arXiv (Cornell University)|Jul 16, 2018

Robotic Locomotion and ControlEngineering参考文献 15被引用 20

一句话总结

本文提出了一种基于深度确定性策略梯度（DDPG）强化学习在Gazebo仿真环境中训练的平面双足行走机器人，实现了0.83 m/s的稳定前向行走，其步态模式与人类行走高度相似。该机器人通过试错法学习，无需预先了解动力学信息，利用鼓励速度与稳定性的奖励函数实现学习。

ABSTRACT

Machine learning algorithms have found several applications in the field of robotics and control systems. The control systems community has started to show interest towards several machine learning algorithms from the sub-domains such as supervised learning, imitation learning and reinforcement learning to achieve autonomous control and intelligent decision making. Amongst many complex control problems, stable bipedal walking has been the most challenging problem. In this paper, we present an architecture to design and simulate a planar bipedal walking robot(BWR) using a realistic robotics simulator, Gazebo. The robot demonstrates successful walking behaviour by learning through several of its trial and errors, without any prior knowledge of itself or the world dynamics. The autonomous walking of the BWR is achieved using reinforcement learning algorithm called Deep Deterministic Policy Gradient(DDPG). DDPG is one of the algorithms for learning controls in continuous action spaces. After training the model in simulation, it was observed that, with a proper shaped reward function, the robot achieved faster walking or even rendered a running gait with an average speed of 0.83 m/s. The gait pattern of the bipedal walker was compared with the actual human walking pattern. The results show that the bipedal walking pattern had similar characteristics to that of a human walking pattern. The video presenting our experiment is available at https://goo.gl/NHXKqR.

研究动机与目标

• 开发一种在Gazebo机器人仿真器中应用强化学习的框架，用于双足行走。
• 实现并评估深度确定性策略梯度（DDPG）在平面双足行走机器人连续控制中的应用。
• 将机器人学习到的步态模式与通过光学动作捕捉获取的实际人类行走数据进行比较。
• 展示无需预先了解机器人或环境动力学知识的模型无关学习，实现稳定、高速的行走。

提出的方法

• 双足行走机器人在SolidWorks中建模，并转换为URDF格式，以集成到Gazebo仿真器中。
• 将由12个变量（髋/膝关节角度与速度、线速度、地面接触状态）组成的机器人状态空间作为DDPG智能体的输入。
• 动作空间定义为4个连续控制输出，用于髋关节和膝关节的力矩控制。
• 设计了自定义奖励函数，以鼓励前向运动、稳定性与能量效率，奖励值随速度更快、更平稳的步态而提高。
• 在NVIDIA GTX 1050 Ti GPU上训练DDPG算法，耗时约41小时，使用经验回放缓冲区与目标网络。
• ROS作为学习智能体与Gazebo仿真器之间的通信接口，更新频率为50 Hz。

实验结果

研究问题

• RQ1 DDPG是否能够在无动力学先验知识的情况下，在基于物理的仿真环境中成功学习稳定、连续的双足行走？
• RQ2 通过DDPG训练的双足机器人步态模式在关节角度轨迹与相位关系方面与人类相比如何？
• RQ3 在模拟双足机器人中，何种奖励函数设计最有效促进高速、稳定的行走？
• RQ4 模型无关的强化学习在多大程度上能够复现平面双足系统中的类人运动？

主要发现

• 经过41小时训练后，DDPG训练的双足行走机器人实现了10米距离内不摔倒的稳定前向行走。
• 机器人达到了平均0.83 m/s的行走速度，表现出高效且动态的运动能力。
• 机器人的髋关节角度轨迹与人类步态模式一致，相位差约为180度。
• 膝关节角度频率约为髋关节的两倍，与光学动作捕捉数据确认的人类行走步态一致。
• 机器人的步态模式表现出与人类行走相似的特征，包括相位锁定的关节运动与平滑的过渡。
• 仿真结果表明，DDPG能够有效学习复杂、非线性的连续动作空间控制策略，适用于双足运动。