[论文解读] Dynamics Randomization Revisited:A Case Study for Quadrupedal Locomotion

Zhaoming Xie, Xingye Da+3 more|arXiv (Cornell University)|Nov 4, 2020

Robotic Locomotion and Control参考文献 30被引用 6

一句话总结

本文研究了在使用Laikago机器人进行四足行走的仿真到现实迁移中，动力学随机化的作用，表明当适当的控制设计选择（如比例增益和状态观测）得到优化时，无需动力学随机化即可实现直接迁移。主要发现显示，不必要的随机化会导致策略过于保守，而对关键参数（如延迟）进行有针对性的随机化则能有效弥合现实差距。

ABSTRACT

Understanding the gap between simulation and reality is critical for reinforcement learning with legged robots, which are largely trained in simulation. However, recent work has resulted in sometimes conflicting conclusions with regard to which factors are important for success, including the role of dynamics randomization. In this paper, we aim to provide clarity and understanding on the role of dynamics randomization in learning robust locomotion policies for the Laikago quadruped robot. Surprisingly, in contrast to prior work with the same robot model, we find that direct sim-to-real transfer is possible without dynamics randomization or on-robot adaptation schemes. We conduct extensive ablation studies in a sim-to-sim setting to understand the key issues underlying successful policy transfer, including other design decisions that can impact policy robustness. We further ground our conclusions via sim-to-real experiments with various gaits, speeds, and stepping frequencies. Additional Details: https://www.pair.toronto.edu/understanding-dr/.

研究动机与目标

• 澄清动力学随机化在腿式机器人仿真到现实迁移中的作用，特别是在先前研究结果相互矛盾的背景下。
• 识别除随机化之外对策略鲁棒性和迁移成功率具有关键影响的设计选择。
• 评估在特定仿真到现实场景中，动力学随机化是否必要或有益。
• 基于识别出的系统级建模误差，倡导对动力学随机化采取保守且有针对性的应用。

提出的方法

• 在仿真到仿真环境中开展广泛的消融实验，以隔离动力学随机化及其他设计参数的影响。
• 通过深度强化学习训练行走策略，配置包括状态观测、比例增益和随机化方案在内的多种变体。
• 仅对高敏感度参数（如控制回路延迟、执行器响应和连杆质量）实施动力学随机化。
• 通过在物理Laikago机器人上对多种步态、速度和步频进行仿真到现实实验验证结果。
• 通过延迟注入测试评估鲁棒性，并确定是否需要对特定参数进行随机化。
• 在仿真和真实环境中对比有无随机化的策略性能，以评估其保守性和鲁棒性。

Figure 1 : Dynamics randomization is often applied in an ad hoc fashion. We advocate for identifying and randomizing parameters that matter and the importance of identifying other problematic control policy design issues.

实验结果

研究问题

• RQ1 在Laikago机器人上进行四足行走的仿真到现实迁移时，动力学随机化是否必要？
• RQ2 除动力学随机化外，哪些控制设计选择对策略鲁棒性和迁移性能影响最大？
• RQ3 对非关键参数进行随机化是否会导致次优或过度保守的策略？
• RQ4 对高敏感度参数（如延迟）进行有针对性的随机化是否能有效弥合现实差距？
• RQ5 在何种条件下，动力学随机化既非必要也非充分，以实现稳健的仿真到现实迁移？

主要发现

• 无需动力学随机化，Laikago机器人即可实现直接仿真到现实迁移，在多种步态和速度下均实现稳定行走。
• 在不必要的动力学随机化下训练的策略最大速度降低（0.9 m/s vs. 1.1 m/s），且更为保守，表明性能下降。
• 对控制回路延迟进行最高达20 ms的随机化，使策略在仿真和现实中均可应对最高32 ms的延迟，证明其在弥合现实差距方面的有效性。
• 在无速度反馈且施加动力学随机化的策略表现劣于无随机化的策略，仅在延迟鲁棒性方面表现更优，表明其对无关扰动的过拟合。
• 比例增益调节和状态观测设计被发现是先前研究中被忽视的关键因素，对迁移成功有显著影响。
• 动力学随机化在所有情况下既非必要也非充分；仅当通过仿真到仿真测试明确识别出建模误差（如延迟或执行器不匹配）时，才应应用。

Figure 2 : Overview of our system. The input to the policy includes robot state and user commands. The output is a residual PD target, which is added to a reference target and applied to a joint PD controller. Various motions are achieved by using a library of gaits as reference trajectories.