[論文レビュー] UniCon: Universal Neural Controller For Physics-based Character Motion

Tingwu Wang, Yunrong Guo+2 more|arXiv (Cornell University)|Nov 30, 2020

Human Motion and Animation参考文献 50被引用数 13

ひとこと要約

UniCon は、物理ベースのキャラクターアニメーションのためのユニバーサルニューラルコントローラーを提案する。2段階のフレームワーク—高レベルのモーショングラフスケジューリングと強化学習駆動の低レベルモーショングラフ実行部—を採用し、再訓練を必要とせず、数千種類に及ぶ多様なモーションにおいてリアルタイムで、ロバストで汎用性のある制御を実現する。未学習のモーション、摂動、および動画やキーボード入力といった異なる入力モダリティに対してもゼロショット一般化を達成する。

ABSTRACT

The field of physics-based animation is gaining importance due to the increasing demand for realism in video games and films, and has recently seen wide adoption of data-driven techniques, such as deep reinforcement learning (RL), which learn control from (human) demonstrations. While RL has shown impressive results at reproducing individual motions and interactive locomotion, existing methods are limited in their ability to generalize to new motions and their ability to compose a complex motion sequence interactively. In this paper, we propose a physics-based universal neural controller (UniCon) that learns to master thousands of motions with different styles by learning on large-scale motion datasets. UniCon is a two-level framework that consists of a high-level motion scheduler and an RL-powered low-level motion executor, which is our key innovation. By systematically analyzing existing multi-motion RL frameworks, we introduce a novel objective function and training techniques which make a significant leap in performance. Once trained, our motion executor can be combined with different high-level schedulers without the need for retraining, enabling a variety of real-time interactive applications. We show that UniCon can support keyboard-driven control, compose motion sequences drawn from a large pool of locomotion and acrobatics skills and teleport a person captured on video to a physics-based virtual avatar. Numerical and qualitative results demonstrate a significant improvement in efficiency, robustness and generalizability of UniCon over prior state-of-the-art, showcasing transferability to unseen motions, unseen humanoid models and unseen perturbation.

研究の動機と目的

• 物理ベースの強化学習コントローラーにおける一般化の限界と高い訓練コストを解決する。
• 低レベルポリシーの再訓練を必要とせず、幅広いモーショングラフスタイルにおいてリアルタイムのインタラクティブ制御を可能にする。
• 未学習の摂動や低品質な入力モーションに対してもロバストであることを実現する。
• キーボードコマンド、動画ストリーム、モーションスターチングといった多様な入力モダリティをサポートする。
• 明示的な訓練を経ずに、関連のないスキル間で滑らかで物理的に整合性のあるモーション遷移を実現する。

提案手法

• 高レベルのモーションスケジューラによる入力解釈と、深層強化学習で訓練された低レベルモーション実行部を備えた2段階アーキテクチャを設計する。
• モーション追跡の正確さ、物理的妥当性、ポリシーの安定性のバランスを取る制約付きの多目的報酬関数を導入する。
• 大規模なデータセットにおける多様なモーションスタイルにわたる訓練の安定化を図るため、モーションバランサを実装する。
• 過学習を低減し、訓練中の一般化性能を向上させるために、ポリシー分散制御器を適用する。
• 低レベル実行部と高レベルスケジューラーを分離し、さまざまな入力ソースと即座に接続可能なプラグアンドプレイを実現する。
• ゼロショット転移を可能にするために、多様な歩行およびアクロバティックモーションを含む大規模データセットでモーション実行部を訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルコントローラーが、再訓練を必要とせず、数千種類の多様で未学習のモーションに一般化可能か？
• RQ2 訓練時に見られなかった環境的摂動（障害物や不整地帯など）に対しても、コントローラーはロバストに動作するか？
• RQ3 明示的な訓練を経ずに、関連のないモーション（例：歩行からジャンプへ）間の滑らかで物理的に整合性のある遷移を生成できるか？
• RQ4 動画、キーボード、またはモーションシーケンスといった多様な入力から、リアルタイムのインタラクティブ制御が可能か？
• RQ5 異なるヒューマノイドモデルやモーションスタイルにおいて、コントローラーの性能はどのようにスケーリングするか？

主な発見

• UniCon は、トレーニングデータに存在しなかった、関連のないスキル間の複雑な遷移を含む、未学習のモーションに対しゼロショット一般化を達成する。
• 障害物や不整地帯といった、訓練時に見られなかった環境的摂動に対しても、追加の訓練を経ずにロバストな性能を示す。
• 歩行からジャンプへのような、異なる行動間のモーション遷移が自然に滑らかで物理的に妥当であり、アノテーションの原則（アンティシペーションやイーズイン/イーズアウト）に従う。
• 動画入力によるリアルタイムのインタラクティブ制御をサポートし、撮影された人間のモーションを最小限の遅延で物理ベースのアバターにテレポートするのに成功する。
• 低レベルのモーション実行部は、異なるヒューマノイドモデルやモーションスタイルにわたって一般化され、トレーニング分布を超えた強力な転送性を示す。
• オンライン再訓練を必要とせず、フレームレートの不一致や動画入力からのノイズの多いポーズ推定に対しても、効率的でリアルタイムのアニメーションを実現する。