[論文レビュー] Minimizing Energy Consumption Leads to the Emergence of Gaits in Legged Robots

Zipeng Fu, Ashish Kumar+2 more|arXiv (Cornell University)|Oct 25, 2021

Robotic Locomotion and Control被引用数 41

ひとこと要約

この論文はエネルギーを最小化する学習が、平坦な地形での四脚歩行ロボットにおいて emergent な gait（歩行、駆動、跳ね上がり）を生み出し、荒れ地では unstructured な gait を生み出すことを示し、シミュレーションと実機で検証している。

ABSTRACT

Legged locomotion is commonly studied and expressed as a discrete set of gait patterns, like walk, trot, gallop, which are usually treated as given and pre-programmed in legged robots for efficient locomotion at different speeds. However, fixing a set of pre-programmed gaits limits the generality of locomotion. Recent animal motor studies show that these conventional gaits are only prevalent in ideal flat terrain conditions while real-world locomotion is unstructured and more like bouts of intermittent steps. What principles could lead to both structured and unstructured patterns across mammals and how to synthesize them in robots? In this work, we take an analysis-by-synthesis approach and learn to move by minimizing mechanical energy. We demonstrate that learning to minimize energy consumption plays a key role in the emergence of natural locomotion gaits at different speeds in real quadruped robots. The emergent gaits are structured in ideal terrains and look similar to that of horses and sheep. The same approach leads to unstructured gaits in rough terrains which is consistent with the findings in animal motor control. We validate our hypothesis in both simulation and real hardware across natural terrains. Videos at https://energy-locomotion.github.io

研究の動機と目的

• プリプログラムされた gait ライブラリへ依存するのではなく、エネルギー駆動の gait 出現へと移行を促すこと。
• エネルギー最小化が平坦地で異なる速度で構造化 gait を生み出し、凹凸地形では unstructured な gait を生み出すことを示すこと。
• エネルギー駆動ポリシーを実機の四足ロボットへ sim-to-real 転送すること。
• 速度条件付きのポリシーを提供し、速度間の滑らかな gait 遷移を実現すること。

提案手法

• エンドツーエンドのモデルフリー強化学習フレームワークを用いて、 forward に移動しつつエネルギーを最小化する関節角度アクションを学習する。
• ポリシーを、状態（30D）と前回アクション（12D）を入力とする多層パーセプトロンとして定義し、12関節の目標角度を予測し、PD コントローラによりトルクへ変換する。
• 報酬は生体エネルギーを基に r = r_forward + alpha1 * r_energy + r_alive、ここで r_energy = -tau^T qdot。
• ロバストな足のクリアランスを促し、人工的なペナルティへの依存を防ぐため fractal Terrain で訓練する。
• extrinsics の sim-to-real 適用のため Rapid Motor Adaptation (RMA) を用いて実機へポリシーを転移する。
• 専門家ポリシーからの蒸留を用いた速度条件付き学習スキームを採用し、滑らかな gait 遷移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エネルギー最小化だけで、事前にプログラムされた gait なしに、異なる速度で自然な gait のようなパターンを生み出せるのか。
• RQ2 平坦地での emergent gait が、家畜や馬で観察される Fround 数域および既知の動物 gait に対応するのか。
• RQ3 目標速度が変化した場合、速度条件付きポリシーが emergent gait 間を滑らかに遷移させることができるのか。
• RQ4 エネルギー効率の高い emergent gait ポリシーを、 diverse terrains で実機に対して sim-to-real 転送可能か。

主な発見

• 平坦地での emergent gait には、速度の上昇とともに walk、trot、bounce が含まれ、エネルギー効率が gait 選択を導く。
• 対応する速度での emergent gait は、羊と馬に対する Fround 数ベースの類似性と一致し、 gait の事前プログラミングは不要。
• 不整地では、同じフレームワークが自然な動物の移動に一致する unstructured、不規則な gait を生み出す。
• 実世界の展開ではターゲット速度（例：0.375、0.9、1.5 m/s）に対して実測がほぼ一致し、エネルギー効率の高い性能が convex MPC ベースラインを上回る。
• Expert gait ポリシーからの蒸留を伴う velocity-conditioned policy は、連続的な速度範囲で滑らかな遷移を実現し、安定した sim-to-real 転送を示す。