[论文解读] A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

Biwen Lei, Jianqiang Ren+3 more|arXiv (Cornell University)|Feb 28, 2023

Face recognition and analysis被引用 4

一句话总结

该论文提出了一种分层表征网络（HRN），通过使用面部专属混合形状、顶点专属形变图和像素专属位移图，将面部几何分解为低频、中频和高频分量，实现了从野外图像中高保真度的3D人脸重建。该方法整合了面部细节的3D先验信息和去润饰模块，以提升准确性和真实感，在单视角和多视角基准测试中均达到最先进性能，包括一个全新的高质量数据集FaceHD-100。

ABSTRACT

Limited by the nature of the low-dimensional representational capacity of 3DMM, most of the 3DMM-based face reconstruction (FR) methods fail to recover high-frequency facial details, such as wrinkles, dimples, etc. Some attempt to solve the problem by introducing detail maps or non-linear operations, however, the results are still not vivid. To this end, we in this paper present a novel hierarchical representation network (HRN) to achieve accurate and detailed face reconstruction from a single image. Specifically, we implement the geometry disentanglement and introduce the hierarchical representation to fulfill detailed face modeling. Meanwhile, 3D priors of facial details are incorporated to enhance the accuracy and authenticity of the reconstruction results. We also propose a de-retouching module to achieve better decoupling of the geometry and appearance. It is noteworthy that our framework can be extended to a multi-view fashion by considering detail consistency of different views. Extensive experiments on two single-view and two multi-view FR benchmarks demonstrate that our method outperforms the existing methods in both reconstruction accuracy and visual effects. Finally, we introduce a high-quality 3D face dataset FaceHD-100 to boost the research of high-fidelity face reconstruction. The project homepage is at https://younglbw.github.io/HRN-homepage/.

研究动机与目标

• 解决基于3DMM的方法在捕捉皱纹、酒窝等高频面部细节方面的局限性。
• 通过将面部几何分解为低频、中频和高频分量，提升重建精度和视觉保真度。
• 通过引入去润饰模块，更有效地解耦几何与外观，减少皮肤瑕疵与光照效果之间的混淆。
• 将框架扩展至多视角重建，以在输入视角稀疏时提升性能。
• 提供一个高质量的3D人脸数据集FaceHD-100，以推动高保真度、稀疏视角人脸重建的研究。

提出的方法

• 该框架采用分层表征策略，通过3DMM系数建模低频几何，通过顶点专属形变图建模中频细节，通过像素专属位移图建模高频细节。
• 使用两个图像翻译网络从单张图像预测形变图和位移图，实现从粗到精的重建过程。
• 从真实人脸扫描中学习中频和高频面部细节的3D先验信息，并将其融入以指导逼真几何建模。
• 引入去润饰模块以优化基础纹理，减少由皮肤纹理和光照模糊性引起的伪影。
• 通过在多视角间强制保持细节几何的一致性，将方法扩展至多视角人脸重建（MV-HRN）。
• 通过轮廓感知损失提升面部轮廓精度，通过多尺度损失保证几何保真度，实现端到端联合训练。

实验结果

研究问题

• RQ1 分层表征策略是否能有效超越标准3DMM的限制，对中频和高频面部细节进行解耦与建模？
• RQ2 面部细节的3D先验信息在多大程度上能提升重建几何的真实感与准确性？
• RQ3 去润饰模块在多大程度上增强了野外图像中几何与外观的解耦？
• RQ4 单视角HRN框架能否在输入视角稀疏的情况下有效扩展至多视角重建？
• RQ5 所提出的FaceHD-100数据集与现有基准相比，在支持高保真度、稀疏视角人脸重建方面表现如何？

主要发现

• 在多视角FaceScape基准测试中，HRN的中位重建误差为1.13mm，优于先前方法如MVFNet（1.76mm）和DFNRMVS（1.79mm）。
• 在单视角FFHQ基准测试中，HRN将中位误差降低至1.13mm，优于当前最先进方法如DFNRMVS（1.79mm）和MVFNet（1.76mm）。
• 消融实验表明，分层建模相比基础3DMM可将误差降低约0.5mm，3D细节先验信息贡献约0.3mm的性能提升。
• 去润饰模块有效减少了几何与外观之间的混淆，生成更真实的纹理，并消除了由皮肤瑕疵引起的虚假细节。
• MV-HRN在仅输入两幅图像时即表现出稳定性能（误差1.17mm），随着输入视角增多性能进一步提升，优于简单的平均基线方法。
• FaceHD-100数据集的引入，包含2,000个高保真3D人脸模型及高清多视角图像，为未来稀疏视角、高保真度人脸重建研究提供了有力支持。