[論文レビュー] Action2Motion: Conditioned Generation of 3D Human Motions

Chuan Guo, Xinxin Zuo+6 more|arXiv (Cornell University)|Jul 30, 2020

Human Pose and Action Recognition参考文献 36被引用数 25

ひとこと要約

本稿では、指定された行動カテゴリから多様で自然な3D人体運動シーケンスを生成するための条件付き時系列変分オートエンコーダ（VAE）であるAction2Motionを提案する。Lie代数を用いて人体運動学をモデル化することで、物理的に妥当な運動を実現するとともに、運動学的制約を分離し、HumanAct12データセットを含む複数のベンチマークで、運動の多様性、現実性、ユーザーの好みにおいて最先端の性能を達成した。

ABSTRACT

Action recognition is a relatively established task, where givenan input sequence of human motion, the goal is to predict its ac-tion category. This paper, on the other hand, considers a relativelynew problem, which could be thought of as an inverse of actionrecognition: given a prescribed action type, we aim to generateplausible human motion sequences in 3D. Importantly, the set ofgenerated motions are expected to maintain itsdiversityto be ableto explore the entire action-conditioned motion space; meanwhile,each sampled sequence faithfully resembles anaturalhuman bodyarticulation dynamics. Motivated by these objectives, we followthe physics law of human kinematics by adopting the Lie Algebratheory to represent thenaturalhuman motions; we also propose atemporal Variational Auto-Encoder (VAE) that encourages adiversesampling of the motion space. A new 3D human motion dataset, HumanAct12, is also constructed. Empirical experiments overthree distinct human motion datasets (including ours) demonstratethe effectiveness of our approach.

研究の動機と目的

• 行動カテゴリに条件づけられた多様で自然な3D人体運動シーケンスを生成する課題に取り組み、初期姿勢依存の生成や決定論的生成にとどまらない枠組みを提供すること。
• Lie代数を活用して運動学的制約を符号化し、スケルトンのダイナミクスを軌道やスケールから分離することで、物理的妥当性を保証する運動のモデル化。
• Lie代数表現を用いることで、ボディマorphology（例：骨の長さ）を運動パターンから分離し、制御可能な運動生成を実現すること。
• HumanAct12データセットをキュレートし、既存データセットを適応させることで、行動条件付き3D運動生成のための新ベンチマークを確立すること。
• FID や正確性にとどまらない、多様性、マルチモダリティ、人的知覚メトリクスを含む、運動品質の包括的評価を実施すること。

提案手法

• 本手法は、過去のポーズの事後分布を学習済み事前分布として用いる条件付き時系列VAEを採用し、RNNを用いて時間的依存性をモデル化する。
• 運動シーケンスはLie代数空間に表現され、スケルトンの解剖学的構造、時間的ダイナミクス、スケールを分離し、前方運動学を介して物理的妥当性を強制する。
• VAEは、潜在空間における多様性を促進するためのKLダイバージェンス項を含む、変分下界（ELBO）を最大化するように訓練される。
• Lie代数の使用により、よりコンactかつユークリッド的な潜在空間が得られ、学習の安定性と収束速度が向上する—関節座標法に比べて1/10の反復回数で均衡に達する。
• ボーン長さをLie代数空間内で直接変更することで、再訓練なしに異なるボディマorphologyに対応した運動の合成が可能となる、制御可能な生成を支援する。
• 本モデルは、HumanAct12（新たに導入された）、および2つの適応済み既存データセットを用いて訓練・評価され、包括的な定量的および定性的な評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 Lie代数表現を用いた条件付きVAEは、初期姿勢を必要とせず、行動カテゴリから多様で物理的に妥当な3D人体運動シーケンスを生成できるか？
• RQ2 運動の多様性と現実性をモデル化する観点で、Lie代数表現は関節座標表現に比べてどのように優れているか？
• RQ3 本モデルは、行動固有の運動パターンを保持しつつ、異なるボディマorphologyにどの程度一般化可能か？
• RQ4 FID、多様性、マルチモダリティなどの定量的メトリクスにおいて、本手法は既存の最先端手法に比べてどのように優れているか？
• RQ5 人間の評価者にとって、生成された運動の現実性と行動の整合性は、実データと比較してどの程度高いと評価されるか？

主な発見

• Action2Motionは、実データに最も近い多様性とマルチモダリティスコアを達成し、Lie代数表現を含まないベースラインを上回った。
• Lie代数表現の導入により、ベースライン（Lieなし）で見られた異常に高いマルチモダリティスコアが低減され、よりバランスが取れ、現実的な運動分布が得られた。
• ユーザーの好みに関する研究では、64%のAction2Motion生成運動が上位2位以内にランクされた。これは、条件付きRNNや2段階GANを含む他の手法を顕著に上回った。
• 人間の識別実験では、58%のAction2Motion生成運動が参加者によって「本物」と判定された。実データベースラインからわずかに3%低い水準であり、人的知覚における現実性が非常に高いことを示した。
• ボーン長さをLie代数空間内で直接変更することで、再訓練なしに異なるボディタイプに適応した同じ運動の合成が可能となり、制御可能な運動生成が実現した。
• Lie代数表現を用いた学習は収束を加速させ、関節座標ベースの学習に比べて約1/10の反復回数で均衡に達した。