[论文解读] Learning Variational Motion Prior for Video-based Motion Capture

Xin Chen, Zhuo Su+5 more|arXiv (Cornell University)|Oct 27, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种通过大规模3D动作捕捉数据上的基于Transformer的变分自编码器学习的变分运动先验（VMP），以提升单目视频人体动作捕捉的性能。通过在连续潜在空间中建模整体的、序列级的运动先验，并将其与视频编码器集成以实现端到端微调，该方法在3DPW数据集上实现了超过10mm的误差降低，且在基准测试和真实场景设置下均达到最先进性能，实现了时序稳定、逼真的动作重建。

ABSTRACT

Motion capture from a monocular video is fundamental and crucial for us humans to naturally experience and interact with each other in Virtual Reality (VR) and Augmented Reality (AR). However, existing methods still struggle with challenging cases involving self-occlusion and complex poses due to the lack of effective motion prior modeling. In this paper, we present a novel variational motion prior (VMP) learning approach for video-based motion capture to resolve the above issue. Instead of directly building the correspondence between the video and motion domain, We propose to learn a generic latent space for capturing the prior distribution of all natural motions, which serve as the basis for subsequent video-based motion capture tasks. To improve the generalization capacity of prior space, we propose a transformer-based variational autoencoder pretrained over marker-based 3D mocap data, with a novel style-mapping block to boost the generation quality. Afterward, a separate video encoder is attached to the pretrained motion generator for end-to-end fine-tuning over task-specific video datasets. Compared to existing motion prior models, our VMP model serves as a motion rectifier that can effectively reduce temporal jittering and failure modes in frame-wise pose estimation, leading to temporally stable and visually realistic motion capture results. Furthermore, our VMP-based framework models motion at sequence level and can directly generate motion clips in the forward pass, achieving real-time motion capture during inference. Extensive experiments over both public datasets and in-the-wild videos have demonstrated the efficacy and generalization capability of our framework.

研究动机与目标

• 为解决单目视频动作捕捉中在自遮挡和复杂姿态下出现的不稳定和抖动的3D姿态估计问题。
• 学习一种通用的、序列级的运动先验，以捕捉超越帧级或动作条件先验的人体运动整体时间特性。
• 通过利用预训练的潜在运动先验作为校正器，提升真实场景视频中动作捕捉的泛化能力和真实性。
• 通过在单次前向传播中直接从潜在码生成完整动作片段，实现实时动作捕捉。
• 通过在大规模标记式动作捕捉数据上预训练运动先验（无需视频-动作配对数据），降低对任务特定监督的依赖。

提出的方法

• 在AMASS数据集上训练基于Transformer的变分自编码器（VAE），以学习表示自然人体运动序列分布的连续且富有表现力的潜在空间。
• 提出一种使用自适应实例归一化（AdaIN）的新型风格映射模块，以增强潜在码的表达力和生成质量。
• 使用具有时空Transformer架构的独立视频编码器，通过端到端微调将输入视频片段映射到预训练的VMP潜在空间。
• 框架采用多损失训练目标，结合KL散度、重建损失和肢体长度正则化，以稳定训练并提升姿态精度。
• 采用两阶段训练策略，将先验学习与视频特定适应解耦，从而实现对未见动作和复杂运动的鲁棒泛化。
• VMP作为运动校正器，可减少时序抖动，提升逐帧姿态估计的一致性。

实验结果

研究问题

• RQ1 序列级、连续潜在运动先验是否能提升单目视频动作捕捉的稳定性和真实性？
• RQ2 基于Transformer的VAE结合AdaIN风格映射在建模复杂人体运动动力学方面效果如何？
• RQ3 预训练的运动先验在未见动作和真实场景视频场景中的泛化能力有多强？
• RQ4 该运动先验能否实现实时生成完整动作片段，而无需迭代优化？
• RQ5 与现有运动先验模型相比，基于VMP的框架在具有挑战性的基准测试中是否在准确性和泛化能力上表现更优？

主要发现

• 与基线方法相比，所提出的VMP框架在3DPW基准测试中将PA-MPJPE降低了超过10mm，创下新的最先进性能记录。
• 用户研究表明，动作自然度的平均意见得分（MOS）达到3.99，较ACTOR高出1.5分，表现出更优的感知质量。
• 消融研究证实，AdaIN模块和非线性映射组件均至关重要，其移除后MOS分别降至3.74和3.73。
• 该框架通过单次前向传播即可生成完整动作片段，实现无需迭代优化的实时推理。
• 尽管未接受全局轨迹监督，VMP系统仍能预测合理的全局运动轨迹，与VIBE的对比结果表明了这一点。
• 由于潜在空间的连续性和表达力，该方法在未见动作（如健身与芭蕾之间的过渡）上表现出良好的泛化能力。