[论文解读] Geometry-aware Two-scale PIFu Representation for Human Reconstruction

Zheng Dong, Ke Xu+4 more|arXiv (Cornell University)|Dec 3, 2021

Human Pose and Action Recognition被引用 9

一句话总结

该论文提出了一种几何感知的双尺度PIFu表示方法，用于从稀疏、噪声较大的RGBD输入中进行3D人体重建，通过联合学习深度去噪与3D重建，提升局部几何精度与全局拓扑一致性。通过为面部和身体分别使用独立的MLP，该方法实现了高保真度的面部细节与一致的体部几何结构，在挑战性的采集条件下，其在细节恢复与拓扑精度方面优于当前最先进方法。

ABSTRACT

Although PIFu-based 3D human reconstruction methods are popular, the quality of recovered details is still unsatisfactory. In a sparse (e.g., 3 RGBD sensors) capture setting, the depth noise is typically amplified in the PIFu representation, resulting in flat facial surfaces and geometry-fallible bodies. In this paper, we propose a novel geometry-aware two-scale PIFu for 3D human reconstruction from sparse, noisy inputs. Our key idea is to exploit the complementary properties of depth denoising and 3D reconstruction, for learning a two-scale PIFu representation to reconstruct high-frequency facial details and consistent bodies separately. To this end, we first formulate depth denoising and 3D reconstruction as a multi-task learning problem. The depth denoising process enriches the local geometry information of the reconstruction features, while the reconstruction process enhances depth denoising with global topology information. We then propose to learn the two-scale PIFu representation using two MLPs based on the denoised depth and geometry-aware features. Extensive experiments demonstrate the effectiveness of our approach in reconstructing facial details and bodies of different poses and its superiority over state-of-the-art methods.

研究动机与目标

• 解决现有基于PIFu的方法在稀疏、噪声RGBD采集设置下面部与身体细节质量差的问题。
• 克服因稀疏视角下深度噪声被放大而引起的拓扑错误与表面过度平滑问题。
• 通过挖掘深度去噪与3D重建之间的互补关系，提升重建保真度。
• 通过采用为面部与身体分别设计的双尺度PIFu表示，增强对高频面部细节的建模能力。
• 通过轻量级加权融合策略，实现重建面部与身体组件的精确、无伪影融合。

提出的方法

• 将深度去噪与3D重建建模为多任务学习问题，联合提升局部几何保真度与全局拓扑一致性。
• 使用通道注意力模块（CAM）与几何感知注意力模块（GAM），有效融合RGB与深度特征，增强具有几何感知上下文的特征表示。
• 引入去噪头以优化噪声深度图，通过局部几何细节增强特征表示。
• 采用两个独立的MLP——PIFu-Face与PIFu-Body——分别建模面部与身体的占用场，降低复杂度并提升细节建模能力。
• 提出一种加权面部到身体融合模块，融合两个MLP的输出，最小化边界处的拼接伪影。
• 引入正则化损失 $L_{\text{reg}}$，通过强制深度与占用预测的一致性，抑制面部与身体过渡区域的锯齿状噪声。

实验结果

研究问题

• RQ1 多任务学习深度去噪与3D重建是否能提升从稀疏、噪声RGBD输入中重建3D人体的质量？
• RQ2 与单一统一的PIFu相比，采用为面部与身体分别设计MLP的双尺度PIFu表示是否能显著提升高频细节恢复能力？
• RQ3 几何感知特征融合与注意力机制是否能提升在噪声深度条件下的重建鲁棒性？
• RQ4 所提出的加权面部到身体融合方法在消除伪影方面是否显著优于简单拼接或混合方法？
• RQ5 正则化损失 $L_{\text{reg}}$ 在多大程度上提升了边界一致性并减少了拼接区域的噪声？

主要发现

• 移除深度去噪任务导致Mesh指标下降14.84%，Normal指标下降18.98%，证实其在保持几何保真度中的关键作用。
• 在无3D监督的情况下，去噪后的深度图会引入错误细节，如虚假面部特征或衣物褶皱，表明全局拓扑引导的重要性。
• 将CAM替换为ASPP+ResCBAM或移除GAM均导致性能下降，证明其在特征融合与几何增强中的有效性。
• PIFu-Face模块显著提升了面部细节重建质量，视觉对比显示仅本方法能保留细微皱纹与发丝等细节。
• 加权面部到身体融合模块成功消除了拼接伪影，而简单合并方式则产生明显的接缝与错位。
• 正则化损失 $L_{\text{reg}}$ 有效抑制了面部与身体边界处的锯齿状噪声，消融研究中显示其深度与占用预测更加清晰。