[论文解读] Gait Library Synthesis for Quadruped Robots via Augmented Random Search

Sashank Tirumala, Aditya Sagi+6 more|arXiv (Cornell University)|Dec 30, 2019

Robotic Locomotion and Control参考文献 20被引用 4

一句话总结

本文提出一种基于强化学习的方法，采用增强型随机搜索（ARS）来合成四足步态库——前向快走、后向快走、侧步和转向步态——通过学习每个半步的末端足部轨迹。该方法采用带三次样条插值的线性策略，通过线性状态变换实现高效的仿真到现实的迁移，且在低成本硬件上实现稳定、鲁棒的运动，计算开销极低。

ABSTRACT

In this paper, with a view toward fast deployment of learned locomotion gaits in low-cost hardware, we generate a library of walking trajectories, namely, forward trot, backward trot, side-step, and turn in our custom-built quadruped robot, Stoch 2, using reinforcement learning. There are existing approaches that determine optimal policies for each time step, whereas we determine an optimal policy, in the form of end-foot trajectories, for each half walking step i.e., swing phase and stance phase. The way-points for the foot trajectories are obtained from a linear policy, i.e., a linear function of the states of the robot, and cubic splines are used to interpolate between these points. Augmented Random Search, a model-free and gradient-free learning algorithm is used to learn the policy in simulation. This learned policy is then deployed on hardware, yielding a trajectory in every half walking step. Different locomotion patterns are learned in simulation by enforcing a preconfigured phase shift between the trajectories of different legs. The transition from one gait to another is achieved by using a low-pass filter for the phase, and the sim-to-real transfer is improved by a linear transformation of the states obtained through regression.

研究动机与目标

• 开发一种快速、低复杂度的方法，用于生成适用于低成本嵌入式平台的多样化四足步态。
• 通过利用实验数据导出的线性状态变换，解决强化学习中的仿真到现实差距问题。
• 通过一种反馈感知的线性策略实现对干扰的实时鲁棒性，避免使用深度神经网络。
• 在自研四足机器人Stoch 2上成功演示多种步态——前向/后向快走、侧步和转向。
• 在极少超参数调优和低计算成本的前提下，实现高效的仿真到现实迁移。

提出的方法

• 线性策略将机器人状态映射为末端足部轨迹的控制点，利用三次样条插值在路径点之间进行插值。
• 采用增强型随机搜索（ARS）作为无模型、无梯度的强化学习算法，在仿真中优化策略。
• 通过预设的腿轨迹相位偏移生成不同步态（如快走、转向、侧步）。
• 对步态相位应用低通滤波器，以实现步态之间的平滑过渡。
• 通过加权线性回归将实验中的电机角度映射到仿真状态，得到一个变换矩阵M̂，用以校正仿真到现实的差异。
• 使用变换后的策略ŷ(𝑠) = M̂𝑀𝑠 + M̂𝑏生成与真实世界跟踪性能匹配的控制点。

实验结果

研究问题

• RQ1 通过ARS训练的线性策略是否能在仿真中生成多样化且稳定的四足步态，并有效迁移到真实硬件？
• RQ2 在不使用深度神经网络的情况下，线性状态变换在解决四足运动仿真到现实差距方面的有效性如何？
• RQ3 所提出的方法是否能在极低计算开销下实现对干扰的鲁棒、自校正行为？
• RQ4 控制器在物理硬件上的轨迹跟踪精度和步态稳定性表现如何？
• RQ5 在真实环境中，不同步态（前向/后向快走、侧步、转向）的泛化能力及平滑过渡性能如何？

主要发现

• 在应用线性变换后，仿真与实验中电机角度的净状态误差仅为0.01 rad。
• 机器人在硬件上成功执行了全部四种步态——前向快走、后向快走、侧步和转向，且表现稳定、可重复。
• 在外部干扰下，关节角度表现出自校正行为，表明线性策略具备鲁棒性。
• 系统在50个步态周期内表现出稳定的极限环行为，证明了长期运动的一致性。
• 轨迹跟踪性能优异，实际末端足部轨迹在所有步态下均与期望轨迹高度吻合，如图7所示。
• 使用ARS的训练时间与相同硬件上的深度强化学习方法相当，而部署后的策略计算资源需求极低。