[論文レビュー] Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis

Ye Yuan, Kris Kitani|arXiv (Cornell University)|Jun 12, 2020

Human Pose and Action Recognition参考文献 58被引用数 34

ひとこと要約

RFCは学習可能な残留力を用いてヒューマノイド制御を拡張し、ダイナミクスの不一致を克服して機敏な動作模倣（例：バレエ）とデュアルポリシーフレームワークによる長期のマルチモーダル動作を実現する。

ABSTRACT

Reinforcement learning has shown great promise for synthesizing realistic human behaviors by learning humanoid control policies from motion capture data. However, it is still very challenging to reproduce sophisticated human skills like ballet dance, or to stably imitate long-term human behaviors with complex transitions. The main difficulty lies in the dynamics mismatch between the humanoid model and real humans. That is, motions of real humans may not be physically possible for the humanoid model. To overcome the dynamics mismatch, we propose a novel approach, residual force control (RFC), that augments a humanoid control policy by adding external residual forces into the action space. During training, the RFC-based policy learns to apply residual forces to the humanoid to compensate for the dynamics mismatch and better imitate the reference motion. Experiments on a wide range of dynamic motions demonstrate that our approach outperforms state-of-the-art methods in terms of convergence speed and the quality of learned motions. Notably, we showcase a physics-based virtual character empowered by RFC that can perform highly agile ballet dance moves such as pirouette, arabesque and jeté. Furthermore, we propose a dual-policy control framework, where a kinematic policy and an RFC-based policy work in tandem to synthesize multi-modal infinite-horizon human motions without any task guidance or user input. Our approach is the first humanoid control method that successfully learns from a large-scale human motion dataset (Human3.6M) and generates diverse long-term motions. Code and videos are available at https://www.ye-yuan.com/rfc.

研究の動機と目的

• ヒューマノイドモデルと実人間の間のダイナミクスの不一致に対処し、動作模倣を改善する。
• 従来の物理ベース手法が苦戦する高度に機敏な動作（例：バレエ）を実現する。
• タスク指示やユーザー入力なしに、マルチモーダルで長期的な動作合成を可能にするデュアルポリシーフレームワークを開発する。
• 大規模な動作データセット（Human3.6M）を活用して、多様な長期的動作を学習する。

提案手法

• ヒューマノイドポリシーをアクション空間の外部残留力で補強する残留力制御（RFC）を導入する。
• RFC-Explicit（接触点を伴う明示的残留力）またはRFC-Implicit（総残留関節トルク）として定式化し、複合ポリシーと結合する。
• 残留項を含む拡張運動方程式でダイナミクスをモデル化する（Explicitは式2、Implicitは式4）。
• 報酬項を介して残留力を規制し、変更後のダイナミクスを元の物理に近づける（式3、式5）。
• デュアルポリシー制御フレームワークを使用：運動学ポリシー（CVAE）が未来を予測し、RFCベースのポリシーがそれらの未来を模倣して物理的に妥当な動作を得る。
• 物理シミュレータ（MuJoCo）内でPPOを用いて訓練し、PD制御とモーションキャプチャ由来の参照動作を使用する。

実験結果

リサーチクエスチョン

• RQ1 残留力はダイナミクスの不一致を補い、高度に機敏な動作の模倣を可能にするか。
• RQ2 RFC-ExplicitとRFC-Implicitは、学習効率と動作品質の点でどう比較されるか。
• RQ3 タスク指示やユーザー入力なしに、デュアルポリシーフレームワークはマルチモーダルな長期動作を生成できるか。
• RQ4 大規模な動作データセット（例：Human3.6M）からの学習は、多様な長期動作の合成を可能にするか。

主な発見

• RFCは高速に収束し、機敏な動作において最新手法DeepMimicより高品質な動作を生み出す。
• RFCは pirouette、arabesque、jeté などの高度に機敏なバレエ動作をシミュレーションで実現する。
• RFC-ExplicitとRFC-Implicitは模倣性能で同等の性能を示し、RFC-Implicitは計算効率の利点を提供する。
• デュアルポリシーフレームワークは、タスク指示やユーザー入力なしに安定でマルチモーダルな長期動作を合成できる。
• 本手法はHuman3.6Mから学習し、短い参照クリップを超えた多様な長期動作を生成できる。