[论文解读] Human Mesh Recovery from Multiple Shots

Georgios Pavlakos, Jitendra Malik+1 more|arXiv (Cornell University)|Dec 17, 2020

Human Pose and Action Recognition参考文献 50被引用 11

一句话总结

本文提出了一种多段优化框架，利用剪辑视频中的时间不连续性（如电影镜头切换）作为多视角线索，以在镜头边界处恢复一致的3D人体网格序列。通过从电影中生成伪真实3D数据，该方法提升了单图网格恢复的鲁棒性，并实现了一种稳定、高效的基于Transformer的时序模型，能够有效处理因镜头切换导致的帧缺失问题。

ABSTRACT

Videos from edited media like movies are a useful, yet under-explored source of information. The rich variety of appearance and interactions between humans depicted over a large temporal context in these films could be a valuable source of data. However, the richness of data comes at the expense of fundamental challenges such as abrupt shot changes and close up shots of actors with heavy truncation, which limits the applicability of existing human 3D understanding methods. In this paper, we address these limitations with an insight that while shot changes of the same scene incur a discontinuity between frames, the 3D structure of the scene still changes smoothly. This allows us to handle frames before and after the shot change as multi-view signal that provide strong cues to recover the 3D state of the actors. We propose a multi-shot optimization framework, which leads to improved 3D reconstruction and mining of long sequences with pseudo ground truth 3D human mesh. We show that the resulting data is beneficial in the training of various human mesh recovery models: for single image, we achieve improved robustness; for video we propose a pure transformer-based temporal encoder, which can naturally handle missing observations due to shot changes in the input frames. We demonstrate the importance of the insight and proposed models through extensive experiments. The tools we develop open the door to processing and analyzing in 3D content from a large library of edited media, which could be helpful for many downstream applications. Project page: https://geopavlakos.github.io/multishot

研究动机与目标

• 解决在剪辑媒体（如电影）中进行3D人体网格恢复的挑战，其中镜头切换导致帧级不连续性。
• 克服现有方法将镜头边界视为独立片段所导致的时序连续性丧失问题。
• 利用跨镜头的多视角信息，在存在截断与遮挡的情况下提升3D重建精度。
• 从电影中构建大规模伪真实3D人体网格数据集（MS-AVA），用于训练鲁棒的网格恢复模型。
• 开发一种纯Transformer架构的时序编码器，能够自然处理因镜头切换导致的帧缺失，提升在真实视频数据上的泛化能力。

提出的方法

• 将同一场景的连续镜头视为多视角观测，联合优化镜头边界处的3D人体网格。
• 制定一种多段优化流程，在镜头切换处强制实现3D身体形状与姿态的时序平滑性与几何一致性。
• 利用从电影中恢复的3D序列作为伪真实监督信号，预训练单图网格恢复模型（如HMR）。
• 设计一种纯Transformer架构的时序编码器（t-HMMR），可关注长时序上下文，并显式忽略缺失帧。
• 在完整序列与含镜头导致帧缺失的序列上联合训练时序模型，以提升鲁棒性。
• 将该框架应用于AVA数据集，生成超过35万帧的3D网格数据，称为MS-AVA，用于下游训练与评估。

实验结果

研究问题

• RQ1 能否利用剪辑视频中的镜头切换作为多视角信号，在存在帧级不连续性的情况下提升3D人体网格重建质量？
• RQ2 与单镜头或独立镜头处理相比，多段优化是否能生成更准确、更一致的3D人体网格序列？
• RQ3 所生成的伪真实3D数据（MS-AVA）是否能提升单图网格恢复模型在严重截断情况下的鲁棒性？
• RQ4 与卷积或循环编码器相比，纯Transformer架构的时序编码器在处理因镜头切换导致的帧缺失时是否更具有效性？
• RQ5 在训练过程中引入含缺失帧的不完整序列，是否能显著提升模型在含镜头边界的现实世界视频数据上的泛化能力？

主要发现

• 所提出的多段优化方法显著提升了3D网格重建质量，尤其在严重截断与遮挡情况下表现更优。
• 在MS-AVA数据上微调HMR后，3DPW数据集上的PA-MPJPE从59.2mm降低至57.8mm，表明对复杂输入的鲁棒性得到提升。
• 基于Transformer的时序模型（t-HMMR）在3DPW上实现了56.1mm的PA-MPJPE，尽管训练数据更少，但性能达到或超过当前最先进水平。
• 与卷积和循环编码器相比，Transformer编码器展现出更优的训练稳定性，且始终收敛至高性能模型；而后者常出现发散。
• 在含帧缺失的AVA数据上，训练于全部序列的Transformer模型实现了73.8的跨镜头PCK，优于卷积（67.5）与循环（68.5）编码器。
• 定性结果表明，即使输入帧在镜头间不连续，t-HMMR生成的姿势也比单帧HMR更具时序一致性。