[論文レビュー] Universal Humanoid Motion Representations for Physics-Based Control

Zhengyi Luo, Jinkun Cao+5 more|arXiv (Cornell University)|Oct 6, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、物理ベースのヒューマノイド制御のための普遍的な運動表現PULSEを紹介する。PULSEは、事前学習済みの運動模倣モデルから多様な運動スキルを、変分情報ボトルネックを用いた確率的潜在空間に凝縮する。プロ prioception（自己認識）に条件づけられた事前分布を同時に学習することで、効率的で安定的かつ自然な運動生成が可能となり、地形走破やVRモーショントラッキングといった多様なタスクにおいて、サンプル効率と性能が顕著に向上する。

ABSTRACT

We present a universal motion representation that encompasses a comprehensive range of motor skills for physics-based humanoid control. Due to the high dimensionality of humanoids and the inherent difficulties in reinforcement learning, prior methods have focused on learning skill embeddings for a narrow range of movement styles (e.g. locomotion, game characters) from specialized motion datasets. This limited scope hampers their applicability in complex tasks. We close this gap by significantly increasing the coverage of our motion representation space. To achieve this, we first learn a motion imitator that can imitate all of human motion from a large, unstructured motion dataset. We then create our motion representation by distilling skills directly from the imitator. This is achieved by using an encoder-decoder structure with a variational information bottleneck. Additionally, we jointly learn a prior conditioned on proprioception (humanoid's own pose and velocities) to improve model expressiveness and sampling efficiency for downstream tasks. By sampling from the prior, we can generate long, stable, and diverse human motions. Using this latent space for hierarchical RL, we show that our policies solve tasks using human-like behavior. We demonstrate the effectiveness of our motion representation by solving generative tasks (e.g. strike, terrain traversal) and motion tracking using VR controllers.

研究の動機と目的

• 通常、狭い専門分野のデータセットに限定して学習されるため、一般化が困難な既存の運動表現空間のカバレッジの限界を解消すること。
• 強化学習における直接的なキネマティック制御の非効率性と不安定性を克服し、階層的制御のためのコンactかつ表現力のある潜在空間を学習すること。
• 再訓練を必要とせずに、VRコントローラーによるモーショントラッキングや複雑な地形走破といった下流タスクを、単一で統一された運動事前分布を再利用することで可能にすること。
• 身体認識（現在のポーズと速度）に条件づけられた構造的で、身体的に妥当な運動を生成する事前分布を学習することで、強化学習におけるサンプリング効率と探索の改善を図ること。
• 単一の運動表現が、高精度かつ安定的に、生成タスク（例：地形走破）と推定タスク（例：VRコントローラーのモーショントラッキング）の両方をサポートできることを示すこと。

提案手法

• AMASSなどの大規模で非構造的な運動データセット上で運動模倣モデルを学習し、キネマティックシーケンスから高精度な人間の運動を学習する。
• 変分情報ボトルネックを備えた変分オートエンコーダーを用いて、模倣モデルから直接運動スキルを低次元の潜在空間に蒸留し、確率的モデリングを保証する。
• エンコーダ・デコーダアーキテクチャを設計し、デコーダーは潜在コードを関節軌道にマッピングし、エンコーダーは観測された運動を潜在コードにマッピングする。
• 自己認識（現在のポーズと速度）に条件づけられた学習可能な事前分布を同時に学習し、下流の強化学習におけるサンプリングと探索の改善を図る。
• 事前分布を階層的強化学習におけるリサイクルアクションとして使用し、ハイレベルポリシーが構造的かつ物理的に妥当な運動空間からサンプリングできるようにする。
• 連続する潜在コード間の大きな逸脱を罰する正則化損失（$\mathcal{L}_{\text{regu}}$）を用い、潜在空間の連続性とコンパクト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 歩行やダンスといった狭い分野を越えて、広範な人間の運動スキルをカバーする、単一で統一された運動表現を学習可能か？
• RQ2 自由形式や複雑な運動を要するタスクにおいて、物理ベースの運動表現が、表現力と効率性の両立を達成できるか？
• RQ3 自己認識に条件づけられた事前分布は、階層的強化学習におけるサンプリング効率と安定性向上にどのような役割を果たすか？
• RQ4 事前学習済みの模倣モデルからのオンライン蒸留により、タスク固有のファインチューニングを必要とせずに、多様な運動スタイルのカバレッジが可能になるか？
• RQ5 学習された潜在空間が、高精度かつ現実的であることを確認できるか、生成タスク（例：地形走破）と推定タスク（例：VRコントローラーのモーショントラッキング）の両方をサポートできるか？

主な発見

• PULSEは、完全なフレームワーク（学習可能な事前分布、正則化、共同学習）を用いることで、VRコントローラーのトラッキングタスクで93.4％の成功率を達成し、これらの要素を欠いたアブレーションと比べ顕著に優れている。
• 正則化項（$\mathcal{L}_{\text{regu}}$）の導入により、平均グローバルMPJPE誤差が88.6 mmに低下し、正則化なしのベースラインと比較して成功率が46.5ポイント向上した。
• 学習された事前分布を用いたリサイクルアクションと組み合わせると、モーショントラッキングの成功率が71.0％に達する一方、固定されたガウス事前分布を使用した場合の成功率は18.1％にとどまり、事前分布の探索における重要性が明確に示された。
• ASE、CALM、HuMoRなどのベースラインと比較して、PULSEはより自然で多様な運動を生成し、物理的に妥当でない運動が少なく、定性的および定量的評価で裏付けられた。
• PULSEフレームワークを用いた学習により、平均MPJPE誤差が67.7 mm、速度誤差が14.9に低下し、モーショントラッキングにおける高精度性が実証された。
• 階層的強化学習において収束が速くなる：PULSEの潜在空間を用いて訓練したポリシーは、初期から訓練する場合よりも速く収束し、図5の成功率曲線で示された。