[論文レビュー] Action2Motion

Chuan Guo, Xinxin Zuo+6 more|arXiv (Cornell University)|Oct 12, 2020

Human Pose and Action Recognition参考文献 28被引用数 9

ひとこと要約

本稿では、アクションラベルを条件として、多様で自然な3D人体運動シーケンスを合成する物理知覚型生成モデル、Action2Motionを提案する。Lie代数を用いた運動学的モデリングと、分離された潜在空間を備えた時系列VAEを活用することで、アクションカテゴリに応じて忠実で多様な運動生成が可能となり、HumanAct12ベンチマークを含む3つのデータセットで検証された。

ABSTRACT

Action recognition is a relatively established task, where given an input sequence of human motion, the goal is to predict its action category. This paper, on the other hand, considers a relatively new problem, which could be thought of as an inverse of action recognition: given a prescribed action type, we aim to generate plausible human motion sequences in 3D. Importantly, the set of generated motions are expected to maintain its diversity to be able to explore the entire action-conditioned motion space; meanwhile, each sampled sequence faithfully resembles a natural human body articulation dynamics. Motivated by these objectives, we follow the physics law of human kinematics by adopting the Lie Algebra theory to represent the natural human motions; we also propose a temporal Variational Auto-Encoder (VAE) that encourages a diverse sampling of the motion space. A new 3D human motion dataset, HumanAct12, is also constructed. Empirical experiments over three distinct human motion datasets (including ours) demonstrate the effectiveness of our approach.

研究の動機と目的

• アクションラベルから多様で現実的である3D人体運動シーケンスを生成することで、行動認識の逆問題に取り組む。
• 人体の運動学的構造をLie代数理論を用いてモデリングすることで、生成された運動が物理的に妥当であることを保証する。
• 時系列VAEアーキテクチャを用いて、運動空間における多様性を維持するとともに、自然な身体の関節運動ダイナミクスを保つ。
• アクション条件付き運動生成研究を支援するため、新しい高品質な3D人体運動データセット、HumanAct12を構築する。
• 複数のデータセットにわたる評価を通じて、多様で行動に整合した運動の生成における汎用性と有効性を示す。

提案手法

• 人体の運動をLie代数を用いて表現することで、関節の回転ダイナミクスを符号化し、物理的妥当性を確保する。
• 時系列変分オートエンコーダ（VAE）を設計し、構造化された潜在空間を用いて順序運動をモデリングし、多様性を促進する。
• 運動の内容と時間的ダイナミクスを分離した潜在表現を採用することで、より良い制御性と生成性能を実現する。
• アクション条件付き運動シーケンスをエンドツーエンドで学習させ、アクションラベルから3D運動軌道へのマッピングを学習する。
• 潜在空間に運動学的制約を統合することで、サンプリング時に自然な人体運動パターンを維持する。
• 本研究の目的に特化して収集されたHumanAct12データセットを用い、多様なアクション条件下でのモデルの学習と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、アクションラベルを条件として、多様で自然な3D人体運動シーケンスを生成できるか？
• RQ2 Lie代数表現は、運動生成フレームワークにおいて人体運動学的ダイナミクスをどの程度正確に符号化できるか？
• RQ3 時系列VAEアーキテクチャは、運動の妥当性を損なわず、どの程度運動空間の多様性を促進できるか？
• RQ4 提案手法は、新たに構築されたベンチマークを含む、異なる3D運動データセットにどの程度汎用性を示すか？
• RQ5 物理知覚型モデリングは、生成された人体運動の品質と現実性にどのような影響を与えるか？

主な発見

• 提案されたAction2Motionモデルは、指定されたアクションカテゴリと整合的で、現実的かつ多様な3D人体運動シーケンスを生成する。
• Lie代数の使用により、回転運動学的ダイナミクスを正確に符号化することで、生成された運動の物理的妥当性が顕著に向上した。
• 時系列VAEアーキテクチャは、運動の質や自然さを損なわず、運動空間における多様性を効果的に促進した。
• HumanAct12を含む3つのデータセットにおける実証的評価により、モデルの優れた性能と汎用性が確認された。
• ベースライン手法に比べ、本モデルは、多様性と人体運動ダイナミクスへの忠実性の両方を満たす運動シーケンスの生成で優れた性能を示した。