[论文解读] Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images

Junbang Liang, Ming C. Lin|arXiv (Cornell University)|Aug 26, 2019

Human Pose and Action Recognition参考文献 50被引用 13

一句话总结

本文提出了一种可扩展的端到端深度学习框架，通过SMPL参数从多视角图像重建3D人体网格，利用带有真实形状监督的合成数据集，提升了形状估计的准确性，尤其在非标准体型和宽松衣物情况下表现更优，在真实世界数据上的姿态和形状恢复性能优于现有方法。

ABSTRACT

We propose a scalable neural network framework to reconstruct the 3D mesh of a human body from multi-view images, in the subspace of the SMPL model. Use of multi-view images can significantly reduce the projection ambiguity of the problem, increasing the reconstruction accuracy of the 3D human body under clothing. Our experiments show that this method benefits from the synthetic dataset generated from our pipeline since it has good flexibility of variable control and can provide ground-truth for validation. Our method outperforms existing methods on real-world images, especially on shape estimations.

研究动机与目标

• 解决从多视角图像中准确重建3D人体的挑战，特别是在人体穿着衣物或具有非标准体型的情况下。
• 通过利用多视角图像减少2D到3D重建中的投影模糊性，提升姿态和形状估计的准确性。
• 通过生成大规模带有精确SMPL参数监督的合成数据集，克服真实世界数据集中缺乏真实形状监督的问题。
• 提升对身体质量指数（BMI）极端或穿着宽松衣物的人体的形状估计准确性，这些情况下基于轮廓的方法会失效。
• 开发一种灵活的、多视角、多阶段的神经网络，支持端到端训练，并可扩展至不同数量的输入图像。

提出的方法

• 该方法采用多视角、多阶段深度神经网络，融合来自3至4张不同角度拍摄的图像的视觉特征，以推断SMPL姿态和形状参数。
• 使用SMPL模型作为参数化的3D人体先验，通过主成分分析（PCA）系数表示形状，通过关节角度表示姿态。
• 通过基于物理的仿真流程生成大规模的多视角序列合成数据集，涵盖多样的人体体型、姿态和服装，提供真实SMPL参数。
• 在该合成数据集上端到端训练网络，学习服装外观与底层身体形状之间的关联，实现形状感知的重建。
• 框架包含一种误差校正机制，即使输入视角未完全同步或对齐，也能保持鲁棒性能。
• 在真实世界数据上进行微调，无需相机标定或时间一致性约束，即可在姿态和形状估计方面实现高精度。

实验结果

研究问题

• RQ1 与单视角方法相比，多视角图像是否能显著提升3D人体重建的准确性，特别是在非标准体型情况下？
• RQ2 带有真实SMPL参数的合成数据集在图像重建中的形状估计方面能提升多少性能？
• RQ3 深度学习框架在捕捉由衣物形变带来的形状感知视觉线索方面有多有效，而非仅依赖轮廓信息？
• RQ4 多视角、多阶段网络架构是否能在姿态和形状估计方面优于现有的基于优化的方法或单视角学习方法？
• RQ5 该方法在面对遮挡、低光照和非同步图像采集等现实挑战时，其鲁棒性如何？

主要发现

• 在Human3.6M基准测试中，该方法达到79.85%的准确率，优于SOTA的多视角重建方法，即使未使用相机标定或时间信息。
• 在真实世界测量数据上，多视角版本将站立姿势的平均相对误差降低至6.23%，坐姿降低至5.26%，显著优于HMR和BodyNet。
• 与HMR相比，该模型在非标准体型和宽松衣物情况下的形状估计准确率提高了34.7%，在轮廓方法失效的情况下表现更优。
• 带有真实SMPL参数的合成数据集使模型能够学习形状感知特征，在同一基准测试中实现45.13%的Procrustes对齐误差，表明对姿态变化具有强鲁棒性。
• 由于误差校正结构和多视角融合机制，即使输入图像非同步采集，或在光照和遮挡变化下，该方法仍能保持高性能。
• 视觉对比显示，与HMR相比，该模型能更准确地恢复身体形状和肢体朝向，尤其在从真实图像中重建胸廓和腿部几何结构方面表现更优。