[論文レビュー] Fast and Efficient Locomotion via Learned Gait Transitions

Yuxiang Yang, Tingnan Zhang+3 more|arXiv (Cornell University)|Apr 9, 2021

Robotic Locomotion and Control参考文献 54被引用数 8

ひとこと要約

本論文は、四足歩行ロボットが速度に応じてエネルギー効率の良い歩行パターンと自然な歩行遷移を自律的に学習できる階層的強化学習フレームワークを提案する。進化戦略を用いて高レベルの歩行ポリシーを学習し、低レベルの凸モデル予測制御（MPC）コントローラーを組み合わせることで、歩行、トロット、フライトロットの間でエネルギー消費を最小限に抑えながら遷移する。Unitree A1 ロボット上でシミュレーションから実機への微調整なしに、安定した実世界での運用を達成した。

ABSTRACT

We focus on the problem of developing energy efficient controllers for quadrupedal robots. Animals can actively switch gaits at different speeds to lower their energy consumption. In this paper, we devise a hierarchical learning framework, in which distinctive locomotion gaits and natural gait transitions emerge automatically with a simple reward of energy minimization. We use evolutionary strategies (ES) to train a high-level gait policy that specifies gait patterns of each foot, while the low-level convex MPC controller optimizes the motor commands so that the robot can walk at a desired velocity using that gait pattern. We test our learning framework on a quadruped robot and demonstrate automatic gait transitions, from walking to trotting and to fly-trotting, as the robot increases its speed. We show that the learned hierarchical controller consumes much less energy across a wide range of locomotion speed than baseline controllers.

研究の動機と目的

• 手動で歩行パターンを設計せずに、四足歩行ロボットがエネルギー効率の良い歩行パターンと遷移を学習できる制御フレームワークを開発すること。
• シミュレーションと実機のドメインギャップのため、エンドツーエンドのポリシー学習が実機に一般化できないという課題に対処すること。
• 速度変動に応じた自動的な歩行遷移を可能にし、生物学的四足歩行の動きを模倣すること。
• 追加の微調整や報酬形状の最適化なしに、学習済みポリシーを安定して実世界に展開できること。
• 強化学習と最適制御の長所を組み合わせるため、歩行生成とモーターコマンド最適化を分離すること。

提案手法

• 高レベルの歩行ポリシーと低レベルの凸MPCコントローラーを有する階層的フレームワークを設計し、歩行パターンの指定とモーターコマンドの計算を分離する。
• 高レベルの歩行ポリシーは、速度追従性とエネルギー効率に基づく報酬関数を用いて、進化戦略（CMA-ES）で学習される。
• 歩行ポリシーは足の接触スケジュールを定義するキーパrameterを出力し、MPCコントローラーがその情報をもとにリアルタイムで最適なモーターコマンドを計算する。
• 低レベルのMPCコントローラーは簡略化された動的モデルを用い、リアルタイム実行可能性と耐障害性を確保し、接触力と接触順序を暗黙の変数として扱う。
• フレームワークは完全にシミュレーション内で学習され、追加のデータ収集やシミュレーションから実機への適応処理なしに、実際のUnitree A1 ロボットに直接展開された。
• 観測空間にはIMUの計測値、モーターの角度、歩行フェーズを含め、特にESアルゴリズム以外の性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 手動で設計された歩行タイミングなしに、学習ベースのフレームワークが明確な歩行パターンとそれらの自然な遷移を自動で発見できるか？
• RQ2 強化学習と最適制御を組み合わせた階層的設計は、エンドツーエンドポリシーと比較して、サンプル効率と実世界への一般化性能をどのように向上させるか？
• RQ3 この階層的制御構造において、なぜ進化戦略（CMA-ESとARS）がPPO や SAC といった標準的な強化学習アルゴリズムを上回るのか？
• RQ4 シミュレーションで学習したポリシーが、微調整やドメインランダマイゼーションなしに実機に直接展開できる範囲はどの程度か？
• RQ5 多様な地形でも安定性を保ちつつ、最大2.5 m/sの高速走行を低エネルギー消費で達成できるか？

主な発見

• 階層的フレームワークは、0–2.5 m/sの広い速度範囲で、歩行からトロット、フライトロットへの自然な歩行遷移を成功裏に学習・実装し、生物学的四足歩行の動きを模倣した。
• CMA-ESで学習した歩行ポリシーは、移動コスト（CoT）が0.84 ± 0.017を達成し、PPO、SAC、ARS よりも顕著にエネルギー効率が優れていた。
• 速度追従誤差は0.0083 ± 0.00075に留まり、全速度域で高い速度追従精度を示した。
• 非階層的ベースライン（E2E と PMTG）は安定した歩行を学習できなかった：E2E は場所を動かず、PMTG は3本の脚しか使用しなかった。これは平坦なポリシー空間における収束不良を示している。
• Unitree A1 ロボットに、カーペット、芝生、短い障害物など多様な環境で直接展開したが、追加の微調整なしに安定した運用が確認された。シミュレーションから実機への転送性能が確認された。
• 進化戦略（CMA-ES と ARS）は、PPO や SAC より顕著に優れており、特に元の観測空間において顕著だった。これは、MPC のブラックボックス性が、標準的な強化学習の効果を低下させている可能性を示唆している。