[論文レビュー] GenLoco: Generalized Locomotion Controllers for Quadrupedal Robots

Gilbert Feng, Hongbo Zhang+9 more|arXiv (Cornell University)|Sep 12, 2022

Robotic Locomotion and ControlEngineering被引用数 17

ひとこと要約

本論文では、シミュレーション中にロボットの形状をランダム化することで、四足歩行ロボットの一般化された歩行制御を学習する強化学習フレームワーク、GenLocoを紹介する。サイズ、質量、脚長が異なる手続き的生成された四足歩行ロボットの多様なセットで訓練することで、得られた方策は、Unitree A1 や MIT Mini Cheetah、CUHK Sirius といった未観測の実世界ロボットに対してもゼロショット転送を達成し、シミュレーションおよび実世界での実装において、ロボット固有の方策を上回る性能を発揮する。

ABSTRACT

Recent years have seen a surge in commercially-available and affordable quadrupedal robots, with many of these platforms being actively used in research and industry. As the availability of legged robots grows, so does the need for controllers that enable these robots to perform useful skills. However, most learning-based frameworks for controller development focus on training robot-specific controllers, a process that needs to be repeated for every new robot. In this work, we introduce a framework for training generalized locomotion (GenLoco) controllers for quadrupedal robots. Our framework synthesizes general-purpose locomotion controllers that can be deployed on a large variety of quadrupedal robots with similar morphologies. We present a simple but effective morphology randomization method that procedurally generates a diverse set of simulated robots for training. We show that by training a controller on this large set of simulated robots, our models acquire more general control strategies that can be directly transferred to novel simulated and real-world robots with diverse morphologies, which were not observed during training.

研究の動機と目的

• 各新しい四足歩行プラットフォームに対してロボット固有の歩行制御を学習するコストの高さに対処すること。
• 異なる形状や動的特性を持つロボットに適用可能な、転送可能で汎用的な歩行方策を実現すること。
• ポリシー学習中に多様な形状を用いることで、正確なシミュレーションから実世界への移行（sim-to-real）に依存するのを減らすこと。
• 1つの方策が微調整なしに複数の実世界四足歩行ロボットに展開可能であることを実証すること。
• 新たな四足歩行ロボットのための再利用可能でオープンソースのベースラインを提供し、高価な再トレーニングの必要性を回避すること。

提案手法

• 形状のテンプレート内でボディサイズ、脚長、質量をランダム化することで、多様なシミュレーテッド四足歩行ロボットを手続き的に生成する。
• この多様なシミュレーテッドロボットのセット上で、履歴に基づく深層強化学習方策を訓練し、一般化された制御戦略を学習する。
• 訓練中に形状ランダム化を適用し、ポリシーが広範な運動学的および動的変化にさらされるようにする。
• すべてのシミュレーテッド形状に共通のパラメータを持つ1つのポリシー・ヘッドを用いることで、一般化を促進する。
• 訓練中に見未曾有の実世界ロボットに対してゼロショットデプロイメントを実施し、転送性能を評価する。
• すべてのシミュレーテッドロボットで固定の自由度（DoFs）とリンク構造を維持することで、アーキテクチャの一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 多様な形状を持つ四足歩行ロボットに一般化可能な1つの歩行方策を訓練できるか？
• RQ2 単一のロボットで訓練するのと比較して、訓練中に形状ランダム化を適用することで、シミュレーションから実世界への転送性能が向上するか？
• RQ3 シミュレーテッドロボットで訓練された方策を、微調整なしに実世界ロボットにデプロイできるか？
• RQ4 実世界でのデプロイにおいて、一般化された方策とロボット固有の方策の性能はどのように比較されるか？
• RQ5 形状ランダム化は、分布外の動的変化に対してどれほど耐性を向上させるか？

主な発見

• パーシングゲートにおいて、GenLoco方策はUnitree A1で0.773 ± 0.054、Mini Cheetahで0.743 ± 0.092の正規化報酬を達成し、A1固有方策（0.696 ± 0.032）とCheetah固有方策（6試行中0）を上回った。
• スピンゲートにおいて、GenLocoはA1で0.670 ± 0.070、Cheetahで0.721 ± 0.090の報酬を達成し、A1固有方策（0.572 ± 0.049）とCheetah固有方策（0.258 ± 0.013）を上回った。
• Mini Cheetah固有方策は、シミュレーションでは動作したが、実世界の6試行すべてで失敗したのに対し、GenLoco方策は一貫して成功した。これは、シミュレーションから実世界への耐性が優れていることを示している。
• GenLoco方策は、モーターの摩擦や出力の変化に対しても顕著な耐性を示し、分布外の動的変化への一般化が有効に行われていることが示された。
• 新開発のCUHK Siriusロボットへのデプロイは、ハードウェア入手後数日で達成され、ゼロショット転送の能力を確認した。
• 大きなロボットでは性能劣化が観察されたため、極端な形状変化下では一般化の範囲に限界がある可能性がある。