[论文解读] Learning 3D Human Dynamics from Video

Angjoo Kanazawa, Jason Zhang+2 more|arXiv (Cornell University)|Dec 4, 2018

Human Pose and Action Recognition参考文献 64被引用 10

一句话总结

本文提出了一种半监督框架——人体网格与运动恢复（HMMR），通过图像特征的时间编码从视频中学习3D人体动态。该方法在野外数据集上实现了SOTA级别的3D姿态预测性能，通过在互联网规模的未标注视频上进行伪真实2D姿态监督的自监督训练，随着数据量增加，3D和2D精度均单调提升，并实现了从视频中生成平滑的3D网格，以及从单张图像中进行动态运动幻觉生成。

ABSTRACT

From an image of a person in action, we can easily guess the 3D motion of the person in the immediate past and future. This is because we have a mental model of 3D human dynamics that we have acquired from observing visual sequences of humans in motion. We present a framework that can similarly learn a representation of 3D dynamics of humans from video via a simple but effective temporal encoding of image features. At test time, from video, the learned temporal representation give rise to smooth 3D mesh predictions. From a single image, our model can recover the current 3D mesh as well as its 3D past and future motion. Our approach is designed so it can learn from videos with 2D pose annotations in a semi-supervised manner. Though annotated data is always limited, there are millions of videos uploaded daily on the Internet. In this work, we harvest this Internet-scale source of unlabeled data by training our model on unlabeled video with pseudo-ground truth 2D pose obtained from an off-the-shelf 2D pose detector. Our experiments show that adding more videos with pseudo-ground truth 2D pose monotonically improves 3D prediction performance. We evaluate our model, Human Mesh and Motion Recovery (HMMR), on the recent challenging dataset of 3D Poses in the Wild and obtain state-of-the-art performance on the 3D prediction task without any fine-tuning. The project website with video, code, and data can be found at https://akanazawa.github.io/human_dynamics/.

研究动机与目标

• 从视频中学习一个可泛化的3D人体动态模型，使其超越受控环境的限制。
• 通过利用时间上下文信息，实现从视频序列中平滑的3D网格预测。
• 利用幻觉生成模块，从单张图像中预测未来和过去3D运动。
• 通过在大规模未标注视频上使用半监督学习与伪2D姿态标注，提升3D人体姿态估计性能。
• 证明在互联网规模的未标注视频中使用伪真实2D姿态进行训练，可提升3D预测性能。

提出的方法

• 时间编码器 f_movie 将图像特征序列 φ_t 编码为以当前时刻为中心的时间窗口内的3D动态表征 Φ_t。
• 模型通过多任务头预测当前3D姿态与形状 Θ_t，以及 ±Δt 帧内的姿态变化，结合2D重投影损失与对抗性损失。
• 幻觉生成模块 h 将单张图像特征 φ_t 映射为时间表征 Φ_t，实现在推理阶段从静态图像中生成动态预测。
• 模型使用2D重投影损失与对抗性先验进行训练，以确保3D姿态的真实性，当真实3D标注可用时也引入3D损失。
• 使用来自互联网规模数据集（如InstaVariety、VLOG）的未标注视频，结合预训练2D检测器（OpenPose）生成的伪2D姿态。
• 该框架支持全监督学习，结合有限的3D/2D标注与海量未标注视频，以提升泛化能力。

实验结果

研究问题

• RQ1 模型是否仅通过2D姿态监督与在未标注数据上的自监督学习，就能从视频中学习3D人体动态？
• RQ2 在互联网规模的未标注视频上使用伪2D姿态进行训练，是否能提升3D姿态预测性能？
• RQ3 是否可以利用单张图像输入，不仅预测当前3D姿态，还能预测合理的历史与未来运动？
• RQ4 与单视角基线相比，时间编码器在提升3D预测平滑性与降低加速度误差方面表现如何？
• RQ5 幻觉生成模块在真实世界、非受限环境中的泛化能力达到何种程度？

主要发现

• 当在最大规模的伪标注数据集（InstaVariety）上进行训练时，HMMR在3DPW数据集上实现了SOTA的MPJPE为116.5，优于先前方法。
• 与在较小数据集上训练相比，模型在InstaVariety上训练时，3D姿态误差降低9%，2D姿态准确率提升8%。
• 与单视角基线相比，模型在视频序列预测中将加速度误差降低了56%。
• 幻觉生成模块可实现从单张图像生成合理3D运动预测，在Human3.6M数据集上，过去与未来预测的PA-MPJPE分别为65.0与65.3。
• 在NBA与Penn等2D姿态数据集上的性能保持稳定或略有提升，表明伪标注数据带来了泛化优势。
• 模型在真实世界场景中泛化良好，即使未进行微调，其在3DPW上的表现仍优于经过Human3.6M与MPII微调的TP-Net。