[论文解读] Action2Motion

Chuan Guo, Xinxin Zuo+6 more|arXiv (Cornell University)|Oct 12, 2020

Human Pose and Action Recognition参考文献 28被引用 9

一句话总结

本文提出 Action2Motion，一种物理信息引导的生成模型，可基于动作标签生成多样化、自然的3D人体运动序列。通过利用李代数进行运动学建模，并结合具有解耦潜在空间的时序变分自编码器（VAE），该方法在三种数据集（包括新构建的 HumanAct12 基准）上验证了其在不同动作类别下生成真实、多样的运动序列的能力。

ABSTRACT

Action recognition is a relatively established task, where given an input sequence of human motion, the goal is to predict its action category. This paper, on the other hand, considers a relatively new problem, which could be thought of as an inverse of action recognition: given a prescribed action type, we aim to generate plausible human motion sequences in 3D. Importantly, the set of generated motions are expected to maintain its diversity to be able to explore the entire action-conditioned motion space; meanwhile, each sampled sequence faithfully resembles a natural human body articulation dynamics. Motivated by these objectives, we follow the physics law of human kinematics by adopting the Lie Algebra theory to represent the natural human motions; we also propose a temporal Variational Auto-Encoder (VAE) that encourages a diverse sampling of the motion space. A new 3D human motion dataset, HumanAct12, is also constructed. Empirical experiments over three distinct human motion datasets (including ours) demonstrate the effectiveness of our approach.

研究动机与目标

• 通过从动作标签生成多样化、逼真的3D人体运动序列，解决动作识别的逆问题。
• 通过利用李代数理论对人类运动学进行建模，确保生成运动的物理合理性。
• 在保持自然人体关节运动动力学特性的同时，通过时序变分自编码器架构维持运动空间的多样性。
• 构建一个新的高质量3D人体运动数据集 HumanAct12，以支持基于动作条件的运动生成研究。
• 在多个数据集上评估该方法，证明其在生成多样化、动作一致的运动序列方面的泛化能力与有效性。

提出的方法

• 使用李代数表示人体运动，以编码身体关节的旋转动力学，确保运动的物理合理性。
• 设计一种具有结构化潜在空间的时序变分自编码器（VAE），以建模序列化运动并促进多样性。
• 采用解耦的潜在表示，将运动内容与时间动态分离，以实现更好的控制与生成效果。
• 端到端地在动作条件化的运动序列上进行模型训练，以学习从动作标签到3D运动轨迹的映射关系。
• 将运动学约束整合到潜在空间中，以在采样过程中保持自然的人体运动模式。
• 使用专门为本任务构建的 HumanAct12 数据集，在多种动作条件下进行模型的训练与评估。

实验结果

研究问题

• RQ1 深度生成模型能否基于动作标签生成多样化且自然的3D人体运动序列？
• RQ2 李代数表示在运动生成框架中，对人类运动学动力学的编码效果如何？
• RQ3 时序VAE架构在保持运动合理性的同时，能在多大程度上促进运动空间的多样性？
• RQ4 所提出的方法在不同3D运动数据集（包括新构建的基准）上的泛化能力如何？
• RQ5 物理信息建模对生成人体运动的质量与真实感有何影响？

主要发现

• 所提出的 Action2Motion 模型能够生成多样化、逼真且与指定动作类别一致的3D人体运动序列。
• 使用李代数显著提升了生成运动的物理合理性，通过准确编码旋转运动学实现。
• 时序VAE架构在不牺牲运动质量或自然性的情况下，成功促进了运动空间的多样性。
• 在三个数据集（包括 HumanAct12）上的实证评估验证了模型的优异性能与泛化能力。
• 与基线方法相比，该模型在生成多样化且符合人体运动动力学的运动序列方面表现更优。