[論文レビュー] Dynamics Randomization Revisited:A Case Study for Quadrupedal Locomotion

Zhaoming Xie, Xingye Da+3 more|arXiv (Cornell University)|Nov 4, 2020

Robotic Locomotion and Control参考文献 30被引用数 6

ひとこと要約

本論文は、四足歩行ロボットLaikagoを用いて、シミュレーションから実世界への転送におけるダイナミクスのランダム化の役割を調査し、適切な制御設計選択（例：比例ゲインや状態観測）が最適化されていれば、ダイナミクスのランダム化がなくても直接転送が可能であることを示している。主な発見は、不要なランダム化が過度に慎重な方策を生じさせることであり、一方で、遅延などの重要なパラメータに対して的を射たランダム化が現実とのギャップを効果的に埋めることである。

ABSTRACT

Understanding the gap between simulation and reality is critical for reinforcement learning with legged robots, which are largely trained in simulation. However, recent work has resulted in sometimes conflicting conclusions with regard to which factors are important for success, including the role of dynamics randomization. In this paper, we aim to provide clarity and understanding on the role of dynamics randomization in learning robust locomotion policies for the Laikago quadruped robot. Surprisingly, in contrast to prior work with the same robot model, we find that direct sim-to-real transfer is possible without dynamics randomization or on-robot adaptation schemes. We conduct extensive ablation studies in a sim-to-sim setting to understand the key issues underlying successful policy transfer, including other design decisions that can impact policy robustness. We further ground our conclusions via sim-to-real experiments with various gaits, speeds, and stepping frequencies. Additional Details: https://www.pair.toronto.edu/understanding-dr/.

研究の動機と目的

• 腿脚ロボットにおけるシミュレーションから実世界への転送におけるダイナミクスのランダム化の役割を明確化すること。特に、先行研究で矛盾する結果が得られていることへの留意。
• ランダム化以外の設計選択が、方策のロバスト性および転送成功にどのように影響を与えるかを特定すること。
• 特定のシミュレーションから実世界のシナリオにおいて、ダイナミクスのランダム化が必要であるか、あるいは有益であるかを評価すること。
• 特定のシステムレベルのモデリング誤差に基づいて、保守的かつ的を射たダイナミクスのランダム化の適用を提唱すること。

提案手法

• ダイナミクスのランダム化およびその他の設計パラメータの影響を分離するために、シミュレーション内での広範なアブレーションスタディを実施する。
• 状態観測、比例ゲイン、ランダム化スキームの異なる設定を用いて、深層強化学習を用いて歩行方策を学習する。
• 制御ループの遅延、アクチュエータ応答、リンク質量といった高感度パラメータに対して、ダイナミクスのランダム化を的を射た形で適用する。
• 物理的Laikagoロボットを用いて、複数の歩行パターン、速度、ステッピング周波数において、シミュレーションから実世界への実験を実施して結果を検証する。
• 遅延インジェクションテストを実施し、ロバストネスを評価し、特定のパラメータをランダム化する必要性を特定する。
• シミュレーションおよび実世界の条件下で、ランダム化あり・なしの両方の状況において方策のパフォーマンスを比較し、保守性およびロバストネスを評価する。

Figure 1 : Dynamics randomization is often applied in an ad hoc fashion. We advocate for identifying and randomizing parameters that matter and the importance of identifying other problematic control policy design issues.

実験結果

リサーチクエスチョン

• RQ1 Laikagoロボットを用いた四足歩行ロボットのシミュレーションから実世界への転送において、ダイナミクスのランダム化は必要か？
• RQ2 ランダム化以外の制御設計選択のうち、方策のロバストネスおよび転送パフォーマンスに最も顕著に影響を与えるのはどれか？
• RQ3 非重要パラメータのランダム化は、劣悪なあるいは過度に慎重な方策を生じさせるか？
• RQ4 制御ループの遅延のような高感度パラメータに対する的を射たランダム化は、現実とのギャップを効果的に埋めることができるか？
• RQ5 どのような条件下で、ダイナミクスのランダム化は、ロバストなシミュレーションから実世界への転送において、必要でも十分でもないか？

主な発見

• Laikagoロボットにおいて、ダイナミクスのランダム化がなくても、複数の歩行パターンおよび速度において安定した歩行が達成可能である。
• 不要なダイナミクスのランダム化が施された方策は、最大速度が0.9 m/s（対照的に1.1 m/s）に低下し、保守的であることが示された。これはパフォーマンスの低下を示している。
• 制御ループの遅延を最大20 msまでランダム化することで、シミュレーションおよび実世界の両方で最大32 msの遅延を処理できる方策が得られ、現実とのギャップを効果的に埋めることの有効性が示された。
• 速度フィードバックが欠落している状態でダイナミクスのランダム化を施した方策は、ランダム化なしのものよりもパフォーマンスが悪く、遅延のロバストネスを除いては、無関係な摂動に過剰に適合している（過学習）ことが示された。
• 比例ゲインのチューニングおよび状態観測設計は、先行研究で見過ごされていた重要な要因であり、転送成功に顕著な影響を与えることが判明した。
• ダイナミクスのランダム化は、すべての状況で必要でも十分でもない。シミュレーション内でのアブレーションテストにより、明確なモデリング誤差（例：遅延やアクチュエータの不一致）が特定された場合にのみ適用すべきである。

Figure 2 : Overview of our system. The input to the policy includes robot state and user commands. The output is a residual PD target, which is added to a reference target and applied to a joint PD controller. Various motions are achieved by using a library of gaits as reference trajectories.