[論文レビュー] One Policy to Run Them All: an End-to-end Learning Approach to Multi-Embodiment Locomotion

Nico Bohlinger, Grzegorz Czechmanowski+5 more|arXiv (Cornell University)|Sep 10, 2024

Sociology and Norbert Elias被引用数 4

ひとこと要約

本論文では、多様な脚部ロボットの形状（四足歩行、六足歩行、二足歩行、人型など）を、形状に依存しないエンコーダーとデコーダーを用いて1つのポリシーで制御できる統合的エンドツーエンドの深層強化学習フレームワークURMAを提案する。本手法は、シミュレーションおよび現実世界の未学習のロボットに対してもゼロショット転送を達成し、再訓練を伴わずに形状の違いに対して強力な一般化性能を示す。

ABSTRACT

Deep Reinforcement Learning techniques are achieving state-of-the-art results in robust legged locomotion. While there exists a wide variety of legged platforms such as quadruped, humanoids, and hexapods, the field is still missing a single learning framework that can control all these different embodiments easily and effectively and possibly transfer, zero or few-shot, to unseen robot embodiments. We introduce URMA, the Unified Robot Morphology Architecture, to close this gap. Our framework brings the end-to-end Multi-Task Reinforcement Learning approach to the realm of legged robots, enabling the learned policy to control any type of robot morphology. The key idea of our method is to allow the network to learn an abstract locomotion controller that can be seamlessly shared between embodiments thanks to our morphology-agnostic encoders and decoders. This flexible architecture can be seen as a potential first step in building a foundation model for legged robot locomotion. Our experiments show that URMA can learn a locomotion policy on multiple embodiments that can be easily transferred to unseen robot platforms in simulation and the real world.

研究の動機と目的

• 再訓練を伴わずに複数の脚部ロボット形状を制御できる統合的学習フレームワークの欠如に取り組むこと。
• シミュレーションおよび現実世界の新しいロボット形状に対し、1つの歩行ポリシーをゼロショットでデプロイ可能にする。
• 異なるロボットプラットフォーム間で変動する観測および行動空間のサイズに対応できる形状に依存しないニューラルアーキテクチャを開発すること。
• 多様な形状間での知識移行を可能にするべく、脚部ロボット歩行のためのファウンデーションモデルへの前進を図ること。
• 各ロボットタイプごとにタスク特化のアーキテクチャとハイパーパrameterを必要とする従来手法の制限を克服すること。

提案手法

• 形状に依存しないエンコーダーとデコーダーを備えた統合的ロボット形状アーキテクチャ（URMA）を導入し、異なるロボット形状間で入力・出力表現を標準化する。
• 16種類の多様なロボットプラットフォームを同時にシミュレーションで学習するエンドツーエンドのマルチタスク強化学習設定を採用する。
• 耐障害性を向上させるとともにゼロショット転送を可能にするために、訓練中にドメインランダマイゼーションと動的環境ランダマイゼーションを適用する。
• 特定の関節数や運動学的構造に依存しない共有表現空間を活用し、ポリシーが形状の違いを一般化できるようにする。
• 共有特徴抽出器とタスク特化ヘッドを備えた階層的アーキテクチャを採用し、アテンションまたはルーティング機構を用いて動的にヘッドを適応化する。
• カリキュラム学習と報酬形状を用いて、多様で複雑な形状間での学習を安定化させる。

Figure 1: Top – We train a single locomotion policy for multiple robot embodiments in simulation. Bottom – We can transfer and deploy the policy on three real-world platforms by randomizing the embodiments and environment dynamics during training.

実験結果

リサーチクエスチョン

• RQ1 異なる肢数や関節数を持つ複数の別個の脚部ロボット形状を、1つの深層強化学習ポリシーで制御できるか？
• RQ2 多様な形状で学習したポリシーが、微調整なしにまったく新しいロボットプラットフォームに一般化できる程度はどの程度か？
• RQ3 提案された形状に依存しないアーキテクチャは、シミュレーションおよび実世界のロボット間でのゼロショットデプロイにどの程度効果的か？
• RQ4 共有表現学習は、形状の違いにわたるポリシーの一般化性能およびサンプル効率にどのような影響を与えるか？
• RQ5 このフレームワークは、新しいプラットフォームへの少数ショット適応を可能にする、脚部ロボット歩行のファウンデーションモデルとして機能できるか？

主な発見

• URMAフレームワークは、シミュレーション内での四足歩行、六足歩行、二足歩行、人型ロボットなど16種類の異なるロボット形状を1つのポリシーで成功裏に学習した。
• 学習済みポリシーは、再訓練やハイパーパrameterチューニングなしに、2つの未学習のシミュレーテッドロボットプラットフォームおよび3台の実世界ロボットに対してゼロショットデプロイを達成した。
• ポリシーは、シミュレーションおよび実世界の両方で多様な地形や動的条件下でも強力な歩行性能を示した。
• 形状に依存しないアーキテクチャにより、変動する観測および行動空間サイズをシームレスに処理でき、各ロボットタイプごとのアーキテクチャ再構成の必要がなくなった。
• 多様な形状間で安定的かつ効率的な学習が達成され、タスク特化ポリシーを初期から訓練した場合と同等の性能を示した。
• 本フレームワークは、新しいプラットフォームへの迅速なデプロイが可能で、最小限の適応で済むため、脚部ロボット歩行のファウンデーションモデルとして強い可能性を示している。

Figure 2: Overview of URMA. Left – Joint observations and descriptions are encoded and combined into a single joint latent vector through an attention head. Bottom center – Feet observations and descriptions are encoded in the same way. Top center – Joint latent, feet latent, and general observation