[論文レビュー] Rapid Locomotion via Reinforcement Learning

Gabriel B. Margolis, Ge Yang+3 more|arXiv (Cornell University)|May 5, 2022

Robotic Locomotion and Control被引用数 6

ひとこと要約

本論文は、マサチューセッツ工科大学ミニチーターに対するエンドツーエンド強化学習コントローラーを提示し、芝、アイス、砂利など多様な地形で最高記録となる俊敏性を達成した。この手法は、速度指令のための適応的カリキュラムとオンラインシステム同定を用い、シミュレーションから実世界へのゼロショット移行を可能にし、視覚や手作業で設計されたモデルに依存せずに、高速走行、回転、耐障害性の高い応答を実現した。

ABSTRACT

Agile maneuvers such as sprinting and high-speed turning in the wild are challenging for legged robots. We present an end-to-end learned controller that achieves record agility for the MIT Mini Cheetah, sustaining speeds up to 3.9 m/s. This system runs and turns fast on natural terrains like grass, ice, and gravel and responds robustly to disturbances. Our controller is a neural network trained in simulation via reinforcement learning and transferred to the real world. The two key components are (i) an adaptive curriculum on velocity commands and (ii) an online system identification strategy for sim-to-real transfer leveraged from prior work. Videos of the robot's behaviors are available at: https://agility.csail.mit.edu/

研究の動機と目的

• 芝、アイス、砂利などの多様な自然地形における高速で全方向移動を可能にすること。
• 高速度にまで拡大された速度指令を扱う際のマルチタスク強化学習における訓練不安定性を克服すること。
• 手作業で設計された動的モデルに依存せずに、高精度なゼロショットシミュレーションから実世界への移行を実現すること。
• エンドツーエンド学習によって、転倒からの回復やモーター故障補償といった、顕在的な行動を示すこと。
• 最小限のセンシングとスケーラブルなポリシー学習を用いて、脚部ロボットの俊敏性の限界を押し広げること。

提案手法

• エンドツーエンドのディープ強化学習ポリシーをシミュレーションで訓練し、高速で全方向移動を促進する報酬関数を用いる。
• 適応的カリキュラムが物理的妥当性に基づき、訓練の初期段階で不適切または難易度の高いタスクを回避するように、速度指令の集合を動的に拡張する。
• オンラインシステム同定を用いて、シミュレーテッドポリシーを現実世界の動的特性にキャリブレーションし、ゼロショットデプロイメントを可能にする。
• ポリシーは、関節角度、速度、IMUのプロ prioceptive状態と速度指令のみを観測し、視覚や地形幾何学的情報を使用しない。
• 訓練は、線形速度と角速度の各組み合わせを別々のタスクとして扱うマルチタスク強化学習設定を用いる。
• サンプル効率と一般化を向上させるために、教師-生徒 distillation 策略が採用されているが、コアな手法は直接エンドツーエンド訓練に依存している。

Figure 1 : An end-to-end learned controller enables the MIT Mini Cheetah to execute: (a) fast sprinting at $3.9\text{\,}\mathrm{m}\mathrm{/}\mathrm{s}$ (top); (b) a rough terrain $10$ -meter sprint at $3.4\text{\,}\mathrm{m}\mathrm{/}\mathrm{s}$ ; (c) high-speed spinning indoors; and (d) robust spin

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド強化学習ポリシーは、視覚や地形センシングに依存せずに、多様な自然地形で高速移動を達成できるか？
• RQ2 カリキュラム学習を物理的制約に自動的に適応させることで、高速移動のための訓練を安定化できるか？
• RQ3 プロ prioceptiveフィードバックのみを用いて、ゼロショットデプロイメントを実現するシミュレーションから実世界への移行は、どの程度達成できるか？
• RQ4 複雑で高速な移動タスクにおけるエンドツーエンド学習から、どのような顕在的行動が生じるか？
• RQ5 学習されたポリシーのパフォーマンスは、モデル予測制御（MPC）に基づく手作業で設計されたコントローラーと比較して、俊敏性と耐障害性の面で優れているか？

主な発見

• コントローラーは平坦な地面で持続的な最高速度3.9 m/sを達成し、マサチューセッツ工科大学ミニチーターにおいて新たな記録を樹立した。
• 不整な芝地帯では、10メートルのスプリントで平均速度3.4 m/sを維持し、地形の不規則性に対しても高い耐性を示した。
• 平坦な地面では高速回転を5.7 rad/sで実現し、アイス上でも回転を成功裏に実行し、強い障害物への耐性を示した。
• 実世界でのデプロイメント中に、転倒からの回復や故障したモーターの補償といった顕在的行動が観測された。
• Froude数5.1を達成し、ミニチーターにおいて報告された最高値であったが、チーター2よりは低かった。
• 視覚や地形センシングに依存せず、芝、アイス、砂利など多様な地形で、実世界の微調整なしにゼロショットシミュレーションから実世界への移行に成功した。

Figure 2 : Our controller is a learned mapping from sensory inputs to desired joint positions. We parameterize it as 5-layer neural network $\pi_{\theta}$ with parameters $\theta$ optimized in simulation.