[论文解读] MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh Reconstruction

Kevin Lin, Chung-Ching Lin+3 more|arXiv (Cornell University)|Nov 24, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出了一种名为Mesh预训练（MPT）的自监督预训练方法，用于3D人体姿态与网格重建，利用大规模动作捕捉（MoCap）数据。通过利用MoCap生成的热力图以及一种新颖的掩码热力图建模（MHM）目标，MPT实现了强大的零样本推理能力，并在Human3.6M、3DPW和FreiHAND数据集上达到最先进性能，且在预训练阶段无需配对的图像-网格数据。

ABSTRACT

Traditional methods of reconstructing 3D human pose and mesh from single images rely on paired image-mesh datasets, which can be difficult and expensive to obtain. Due to this limitation, model scalability is constrained as well as reconstruction performance. Towards addressing the challenge, we introduce Mesh Pre-Training (MPT), an effective pre-training strategy that leverages large amounts of MoCap data to effectively perform pre-training at scale. We introduce the use of MoCap-generated heatmaps as input representations to the mesh regression transformer and propose a Masked Heatmap Modeling approach for improving pre-training performance. This study demonstrates that pre-training using the proposed MPT allows our models to perform effective inference without requiring fine-tuning. We further show that fine-tuning the pre-trained MPT model considerably improves the accuracy of human mesh reconstruction from single images. Experimental results show that MPT outperforms previous state-of-the-art methods on Human3.6M and 3DPW datasets. As a further application, we benchmark and study MPT on the task of 3D hand reconstruction, showing that our generic pre-training scheme generalizes well to hand pose estimation and achieves promising reconstruction performance.

研究动机与目标

• 解决用于3D人体网格重建的配对图像-网格数据集稀缺且成本高昂的问题。
• 通过利用大规模MoCap数据而无需图像监督，提升模型的可扩展性与性能。
• 开发一种通用的预训练框架，能够泛化至人体各部位，包括手部。
• 通过学习可泛化的身体姿态与形状表征，实现在无需微调情况下的有效推理。

提出的方法

• 使用通过虚拟相机投影从3D网格数据合成的MoCap生成热力图，预训练一个网格回归Transformer。
• 提出掩码热力图建模（MHM），一种掩码自编码目标，可提升在热力图输入上的自监督表征学习性能。
• 在推理阶段，使用现成的2D姿态估计模型（如HigherHRNet）从输入图像中提取特征图。
• 通过2D-3D监督端到端微调整个流程，将预训练特征适配至单图像重建任务。
• 将预训练规模扩展至200万个人体网格，以学习丰富且可泛化的身体先验知识。
• 采用相同的预训练方案，利用合成MoCap数据（Complement）对3D手部重建进行预训练，以证明方法的泛化能力。

实验结果

研究问题

• RQ1 能否在无需配对图像的情况下，有效利用MoCap数据进行3D人体网格重建的自监督预训练？
• RQ2 与直接回归3D关节点相比，使用MoCap生成的热力图作为输入表征是否能提升预训练性能？
• RQ3 预训练模型是否能在真实图像上实现无需微调的零样本推理？
• RQ4 MoCap数据的规模如何影响预训练性能？
• RQ5 所提出的MPT框架是否能通过极少调整泛化至其他身体部位（如手部）？

主要发现

• 在Human3.6M数据集上，MPT实现了SOTA性能，PA-MPJPE达到5.4 mm，PA-MPJPE为5.6 mm，优于先前方法。
• 在3DPW数据集上，MPT实现PA-MPJPE为5.6 mm，表明其在未受约束图像上的强大泛化能力。
• 在FreiHAND数据集上，MPT实现PA-MPJPE为5.6 mm，F@15 mm为0.988，超越了先前的SOTA方法。
• 消融研究显示，MHM显著提升了PA-MPJPE，证实其在自监督学习中的有效性。
• 随着预训练数据规模增加，零样本性能持续提升，使用100%数据时，无需微调即可在Human3.6M上达到58.4 PA-MPJPE。
• 该方法在手部重建任务上也表现出良好泛化能力，仅使用合成MoCap数据进行预训练，即在FreiHAND上取得SOTA结果。