[论文解读] Detailed Human Shape Estimation from a Single Image by Hierarchical Mesh Deformation

Hao Zhu, Xinxin Zuo+3 more|arXiv (Cornell University)|Apr 24, 2019

3D Shape Modeling and Analysis参考文献 41被引用 10

一句话总结

该论文提出了一种分层网格变形（HMD）框架，通过深度神经网络对参数化SMPL人体模型进行细化，从而从单张图像中恢复出详细的人体形状。通过在粗到细的变形策略中结合关节、轮廓和光照线索，并采用窗口裁剪的输入，该方法在2D IoU和3D度量精度方面达到了最先进性能，生成了超越皮肤模型的逼真且细节丰富的身体形状。

ABSTRACT

This paper presents a novel framework to recover detailed human body shapes from a single image. It is a challenging task due to factors such as variations in human shapes, body poses, and viewpoints. Prior methods typically attempt to recover the human body shape using a parametric based template that lacks the surface details. As such the resulting body shape appears to be without clothing. In this paper, we propose a novel learning-based framework that combines the robustness of parametric model with the flexibility of free-form 3D deformation. We use the deep neural networks to refine the 3D shape in a Hierarchical Mesh Deformation (HMD) framework, utilizing the constraints from body joints, silhouettes, and per-pixel shading information. We are able to restore detailed human body shapes beyond skinned models. Experiments demonstrate that our method has outperformed previous state-of-the-art approaches, achieving better accuracy in terms of both 2D IoU number and 3D metric distance. The code is available in https://github.com/zhuhao-nju/hmd.git

研究动机与目标

• 为了解决SMPL等参数化模型缺乏表面细节且无法表示衣物或精细几何结构的局限性。
• 克服体素预测方法分辨率粗糙、难以恢复高频形状细节的问题。
• 开发一种基于学习的方法，结合参数化模型的鲁棒性与自由形式3D变形的灵活性。
• 实现在不同姿态、体型和视角下，从单张图像中准确重建详细3D人体形状。
• 通过使用粗到细的分层变形策略与局部图像输入，提升模型的泛化能力与准确性。

提出的方法

• 该方法采用投影-预测-变形的流水线：将3D网格投影到2D，将图像与投影后的网格输入深度神经网络，预测顶点位移以实现网格变形。
• 分层网格变形框架在三个层级上运行：关节级、锚点级和逐顶点级，实现局部与全局形状的精细化调整。
• 网络通过结合2D投影误差、轮廓IoU以及逐像素光照一致性损失函数进行训练。
• 采用窗口裁剪的图像输入而非完整图像，以提升定位精度并减少背景噪声，从而增强预测准确性。
• 在每一层级整合关节、轮廓和光照约束，以引导变形过程，同时保持结构合理性。
• 初始SMPL网格通过粗到细的迭代方式逐步变形，每一阶段均使用更精细的监督信号对形状进行优化。

实验结果

研究问题

• RQ1 基于深度学习的方法能否通过结合参数化模型的鲁棒性与自由形式变形的灵活性，提升从单张图像中重建3D人体形状的性能？
• RQ2 与完整图像输入相比，使用窗口裁剪图像输入在变形精度和模型效率方面有何差异？
• RQ3 关节、轮廓和光照线索的联合使用，能在多大程度上提升参数化模型无法捕捉的形状细节恢复能力？
• RQ4 该方法是否能在未受约束的真实世界图像（如WILD数据集）上保持高保真度与准确性，实现良好泛化？
• RQ5 与端到端或非分层方法相比，该分层变形策略在3D与2D重建指标上的表现如何？

主要发现

• 所提出的HMD方法在2D IoU和3D度量距离方面均优于现有最先进方法，在所有评估数据集上均实现了最高的轮廓IoU和最低的关节误差。
• 与完整图像输入相比，使用窗口裁剪输入可使轮廓IoU提升12.3%，关节误差降低15.7%，且模型参数量仅使用了41%。
• 关节与锚点层级的联合变形策略表现最佳，相比仅使用其中一种线索，轮廓IoU提升了7.8%。
• 当额外输入轮廓信息时，方法性能进一步提升，证明了多监督在形状恢复中的有效性。
• 在RECON数据集上，HMD实现了14.2 mm的3D误差，优于BodyNet（16.5 mm）和HMR（18.1 mm），尤其在重建被遮挡的肢体方面表现更优。
• 视图合成结果表明，HMD生成的纹理网格与输入图像高度一致，使用扩张前景掩码后，纹理一致性与边缘细节均得到显著改善。