[論文レビュー] RMA: Rapid Motor Adaptation for Legged Robots

Ashish Kumar, Zipeng Fu+2 more|arXiv (Cornell University)|Jul 8, 2021

Robotic Locomotion and Control参考文献 58被引用数 16

ひとこと要約

RMAは、シミュレーションで訓練されたベースポリシーと高速適応モジュールを備えた二段階の強化学習フレームワークであり、未確認の地形に対しリアルタイムで適応可能にする。実世界での微調整なしに、砂地、泥んこ、草地の地形で100%の成功を達成し、滑りやすい表面では90%の成功を記録。Unitree A1ロボットのような低価格のハードウェアでも、頑健でオンラインでの運動適応が可能であることを示している。

ABSTRACT

Successful real-world deployment of legged robots would require them to adapt in real-time to unseen scenarios like changing terrains, changing payloads, wear and tear. This paper presents Rapid Motor Adaptation (RMA) algorithm to solve this problem of real-time online adaptation in quadruped robots. RMA consists of two components: a base policy and an adaptation module. The combination of these components enables the robot to adapt to novel situations in fractions of a second. RMA is trained completely in simulation without using any domain knowledge like reference trajectories or predefined foot trajectory generators and is deployed on the A1 robot without any fine-tuning. We train RMA on a varied terrain generator using bioenergetics-inspired rewards and deploy it on a variety of difficult terrains including rocky, slippery, deformable surfaces in environments with grass, long vegetation, concrete, pebbles, stairs, sand, etc. RMA shows state-of-the-art performance across diverse real-world as well as simulation experiments. Video results at https://ashish-kmr.github.io/rma-legged-robots/

研究の動機と目的

• 実世界の未確認の地形（砂地、泥んこ、階段など）に対して、人為的に設計された軌道や大量の実世界データ収集に依存せずに、リアルタイムで迅速に適応できる脚部ロボットの実現を目的とする。
• すべての適応システムをシミュレーションで訓練し、体感的フィードバックと特権的な環境信号のみを用いることで、シミュレーションから実世界への一般化ギャップを埋める。
• 低コストのロボットに限られたオンボード処理能力がある中でも、リアルタイムの適応を可能にする計算効率が高く非同期な制御アーキテクチャの開発を目的とする。
• 明示的なシステム同定や事前定義された運動テンプレートなしに、外在的状態表現のエンドツーエンド学習に依存して、オンライン適応を達成できることを目的とする。
• 岩場、滑りやすい表面、変形性のある表面を含む、実用的で困難な屋外地形において、従来の手法がしばしば失敗する状況での手法の有効性を検証することを目的とする。

提案手法

• RMAフレームワークは、ベースポリシー π と適応モジュール φ から構成され、2段階の訓練を経る。まず、π は、環境要因 et をアクセス可能なモデルフリー強化学習を用いてシミュレーションで訓練される。
• 環境要因 et は、専用エンコーダ μ を用いて潜在的外在ベクトル zt に符号化され、これによりベースポリシーが地形固有の特性に条件付けた行動を生成できるようになる。
• 2段階目では、オンポリシーのデータを用いた教師あり学習により、適応モジュール φ が、状態と行動の履歴から extrinsics ベクトル ẑt を予測するように訓練される。これにより、地形特性のリアルタイム推定が可能になる。
• 実装時、適応モジュールは10Hzで動作し、予測された ẑt をベースポリシーに供給する。ベースポリシーは100Hzで動作し、PDコントローラーを介して関節位置指令を生成する。
• 非同期設計により、ベースポリシーは最新の ẑt 予測を即座に利用でき、遅延を最小限に抑え、低性能プラットフォームでもリアルタイムの適応が可能になる。
• 訓練段階では、変形性や不整地の地形を含む多様な地形でエネルギー効率の良い移動を促進する、生物学的エネルギー代謝にインspiredした報酬関数が使用される。

実験結果

リサーチクエスチョン

• RQ1 実世界の未確認の地形（砂地、泥んこ、階段など）に対して、事前の実世界経験や微調整なしに、脚部ロボットがリアルタイムで適応可能か？
• RQ2 完全にシミュレーションで訓練されたポリシーが、接触ダイナミクスや変形性に顕著な物理的差異を示す実世界の地形に一般化可能か？
• RQ3 体感的フィードバックと学習された外在的状態推定のみを用いて、迅速な適応が可能か？明示的なシステム同定や運動テンプレートなしに。
• RQ4 適応モジュールは、滑りやすい領域や足が絡まるような急激な地形変化を検出し、それに適応できるか？
• RQ5 軽量で非同期な制御アーキテクチャは、限られたオンボード計算能力を持つ低価格ロボットでも、リアルタイムの適応を可能にするか？

主な発見

• RMAは、砂地、泥んこ、土の地形で100%の成功率を達成し、歩行中の沈み込みや足の引っかかりに対しても頑健であることを示した。
• 背の高い草地や茂みの障害物を通過する試行すべてで成功した。これは、周期的な不安定さや足の絡まりに対しても効果的な適応を示している。
• ハイキングコースに存在する階段では、訓練経験が全くないにもかかわらず70%の成功率を記録した。ゼロショット一般化の強さを示している。
• 泥の塊を下り坂で渡る試行では100%の成功率を達成し、コンクリートの塊や小石の塊を急斜面で渡る試行では80%の成功率を記録した。複雑で不安定な表面でも高い性能を示した。
• 滑りやすい表面（油を塗布）の試行では90%の成功率を達成した。適応モジュールがスリップを検出し、歩行パターンとトルクプロファイルを適応的に調整した。
• アブレーションスタディの結果、適応モジュールを削除すると著しい性能低下が見られた。これは、リアルタイムの地形適応において、このモジュールが極めて重要な役割を果たしていることを確認した。