[論文レビュー] InsActor: Instruction-driven Physics-based Characters

Jiawei Ren, Mingyuan Zhang+4 more|arXiv (Cornell University)|Dec 28, 2023

Human Motion and Animation被引用数 4

ひとこと要約

InsActor は、自然言語条件付きの運動計画と学習された低レベルスキルを組み合わせることで、物理的に妥当で指示に従うアニメーションを生成する階層型の拡散ベースフレームワークである。高レベルの指示を物理的妥当性と運動の一貫性を保証する潜在的スキル系列にマッピングすることで、複雑なタスクにおいて90.7%の成功率を達成し、指令追従性およびウェイポイントナビゲーションにおいて最先端の性能を発揮する。

ABSTRACT

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.

研究の動機と目的

• 自然言語で表現された複雑で多様な高レベルのヒューマンインストラクションによって制御可能な物理シミュレーション上でのキャラクターのアニメーションを可能にすること。
• 動的環境において、指示と意味的に整合し、かつ物理的に実行可能である運動計画を生成する課題に対処すること。
• 直接的な拡散方策出力に起因する、物理シミュレーション内での実行不能または不安定な状態遷移の問題を克服すること。
• 長時間スパンのタスクや、タスク固有の微調整なしにウェイポイントなどのインタラクティブな条件をサポートするスケーラブルで柔軟なフレームワークの開発。
• より高いロバストネスと一般化性能を備えた、言語条件付きの物理ベースのキャラクターのアニメーションのための新基準を確立すること。

提案手法

• 自然言語インストラクションを条件とする拡散方策を用いて、柔軟なテスト時条件付けを可能にする高レベルの運動計画を生成する。
• エンコーダ・デコーダアーキテクチャを用いた教師なしスキル発見モジュールを採用し、関節空間の軌道をコンパクトな潜在的スキル空間にマッピングする。
• 高レベル方策から生じる物理的に不適切または不安定な状態遷移を、物理的妥当性を保証する潜在的スキルベクトルに変換する。
• 逆運動学に準拠した方策を用いて、学習済みのスキル埋め込みを実行可能なアクションにデコードする。
• 履歴運動を自己回帰的に条件付けすることで、インタラクティブでマルチウェイポイントナビゲーションタスクをサポートする。
• スキル空間のコンパクト性とインストラクション・モーション整合性のバランスを取るための学習可能な重み係数 λ を導入する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの方策は、意味的に整合し、かつ物理的に実行可能な高レベルの運動計画を自然言語インストラクションから生成できるか？
• RQ2 高レベル方策から生じる物理的に不適切な状態遷移は、シミュレーション内での安定的かつ物理的に妥当な実行を保証するためにどのように是正できるか？
• RQ3 高レベル計画と低レベルスキル実行に分ける階層的アプローチは、指示駆動型アニメーションにおける運動品質とタスク成功確率をどの程度向上させるか？
• RQ4 微調整なしに、長時間スパンのタスクや複数のウェイポイントなどのインタラクティブな条件に一般化できるか？
• RQ5 スキル空間のコンパクト性とインストラクション整合性のトレードオフは、全体のパフォーマンスにどの程度影響を与えるか？

主な発見

• InsActor は複雑な指令追従タスクにおいて90.7%の成功率を達成し、Diffuser（38.0%）や他の手法と比較して顕著に優れている。
• スキル発見を組み込んだ階層的設計により、運動の忠実度が向上し、誤差の蓄積が低減され、高いR-精度と低いFIDスコアが達成された。
• アブレーションスタディの結果、高レベル計画と低レベルスキル実行の併用が不可欠であることが確認された。高レベル方策のみを用いる場合、指令との整合性が著しく低下するが、低レベル方策のみでは言語文脈を理解できない。
• スキル空間正則化における重み係数 λ により、運動の多様性と物理的妥当性の間でチューニング可能なトレードオフが実現され、バランスの取れた設定で最良のパフォーマンスが得られた。
• 定性的な結果から、InsActor は視覚的に妥当で多様かつ一貫性のあるアニメーションを生成でき、マルチウェイポイントナビゲーションや複雑な運動シーケンスの実行が可能である。
• ウェイポイントなどの追加入力を柔軟に条件付け可能にすることで、再トレーニングなしにインタラクティブ制御を実現できる。