[论文解读] Photo-Realistic Facial Details Synthesis from Single Image

Anpei Chen, Zhang Chen+4 more|arXiv (Cornell University)|Mar 26, 2019

Face recognition and analysis参考文献 63被引用 24

一句话总结

本文提出了一种基于学习的单图像3D人脸重建方法，通过结合情绪感知的代理几何结构与基于条件生成对抗网络的深度面部细节网络（DFDN），生成逼真的面部细节。该方法在复杂表情和光照条件下实现了最先进的几何细节恢复效果，通过在366个高质量3D扫描和163K张野外图像上联合使用监督与无监督学习实现。

ABSTRACT

We present a single-image 3D face synthesis technique that can handle challenging facial expressions while recovering fine geometric details. Our technique employs expression analysis for proxy face geometry generation and combines supervised and unsupervised learning for facial detail synthesis. On proxy generation, we conduct emotion prediction to determine a new expression-informed proxy. On detail synthesis, we present a Deep Facial Detail Net (DFDN) based on Conditional Generative Adversarial Net (CGAN) that employs both geometry and appearance loss functions. For geometry, we capture 366 high-quality 3D scans from 122 different subjects under 3 facial expressions. For appearance, we use additional 20K in-the-wild face images and apply image-based rendering to accommodate lighting variations. Comprehensive experiments demonstrate that our framework can produce high-quality 3D faces with realistic details under challenging facial expressions.

研究动机与目标

• 解决从单张图像生成具有精细细节（如皱纹）的高保真3D面部几何结构的挑战，尤其在极端面部表情下。
• 克服现有方法因依赖稀疏关键点或有限3D先验而造成的过度平滑与错误表达建模问题。
• 通过结合外观损失与几何损失，利用真实人脸统计特性和基于主成分分析（PCA）的模板，提升几何细节合成效果。
• 通过引入基于野外图像与球谐函数的无监督学习阶段，提升对光照变化的鲁棒性，实现环境光照估计。
• 通过生成与标准基于物理的渲染（PBR）工作流兼容的位移图，实现与现有渲染管线的无缝集成。

提出的方法

• 以巴塞尔人脸模型（BFM）为基础，利用深度学习进行情绪预测，生成具有表情信息的3D代理人脸，从而减少仅依赖2D关键点带来的歧义。
• 设计一种基于条件生成对抗网络（Conditional GANs）的深度面部细节网络（DFDN），采用双分支架构：中尺度分支（预测PCA系数）与细尺度分支（细节优化），将图像块映射为详细位移图。
• 在366个高分辨率3D扫描图像中提取的10,000个图像块上，使用监督损失训练DFDN，最小化预测位移图与真实位移图之间的L1损失与感知差异。
• 通过163K张野外图像进行数据增强，引入无监督损失：估计代理几何结构与光照（通过球谐函数），重新渲染输出，并最小化图像重建误差。
• 在训练过程中交替使用监督几何损失与无监督外观损失，联合优化几何准确性与逼真外观表现。
• 采用基于图像的渲染与球谐函数，建模野外图像中的光照变化，从而实现对多样化光照条件的泛化能力。

实验结果

研究问题

• RQ1 情绪感知代理生成是否能有效降低在2D关键点未覆盖区域的3D人脸重建歧义，特别是在极端表情下？
• RQ2 基于GAN的细节网络在极端面部表情下，对皱纹与鼻唇沟等精细几何细节的恢复能力如何？
• RQ3 在野外图像无真实几何标注的前提下，监督与无监督学习的结合在泛化至多样化光照条件方面的有效性如何？
• RQ4 所预测的位移图是否能有效用于标准渲染管线，以生成高保真、逼真的面部重渲染结果？
• RQ5 结合人脸统计特性与基于PCA的模板，是否能提升合成皮肤细节的逼真度与空间一致性，相比通用表面模型更具优势？

主要发现

• 与Pix2vertex、FPD和Extreme3D等最先进方法相比，本方法在细粒度几何细节（尤其是额头、鼻唇沟及眼周区域）上的几何误差显著更低。
• 在USC LightStage与自建采集数据集上，位移图误差显著降低，尤其在鼻部与眉毛等强形变区域表现更优。
• 无监督训练阶段有效泛化至野外光照条件，表现为即使无真实几何标注，重渲染图像的外观一致性仍得到显著改善。
• DFDN生成的皱纹更具自然感，能反映皮肤的空间相关性，避免了仅依赖光照模型方法中常见的“刀切状”伪影。
• 该框架成功保留了个体特异性特征（如眼下袋与下颌线），而这些特征在基于关键点的方法中常因缺乏全局上下文而丢失。
• 生成的位移图与标准PBR渲染管线兼容，能够生成与输入图像在外观与结构上高度一致的高保真重渲染结果。