[论文解读] 3DFaceNet: Real-time Dense Face Reconstruction via Synthesizing Photo-realistic Face Images

Yudong Guo, Juyong Zhang+3 more|arXiv (Cornell University)|Aug 3, 2017

Face recognition and analysis参考文献 6被引用 9

一句话总结

本文提出3DFaceNet，一种基于新颖数据生成流程的实时密集3D人脸重建框架，该流程通过逆向渲染和多尺度细节迁移，合成具有精细细节的逼真人脸图像。该粗到细的CNN框架在多样化的合成图像与视频帧对数据集上进行训练，能够从单张图像或单目视频中实现高质量的3D重建，显著降低计算时间，并对姿态、表情和光照变化具有强鲁棒性。

ABSTRACT

With the powerfulness of convolution neural networks (CNN), CNN based face reconstruction has recently shown promising performance in reconstructing detailed face shape from 2D face images. The success of CNN-based methods relies on a large number of labeled data. The state-of-the-art synthesizes such data using a coarse morphable face model, which however has difficulty to generate detailed photo-realistic images of faces (with wrinkles). This paper presents a novel face data generation method. Specifically, we render a large number of photo-realistic face images with different attributes based on inverse rendering. Furthermore, we construct a fine-detailed face image dataset by transferring different scales of details from one image to another. We also construct a large number of video-type adjacent frame pairs by simulating the distribution of real video data. With these nicely constructed datasets, we propose a coarse-to-fine learning framework consisting of three convolutional networks. The networks are trained for real-time detailed 3D face reconstruction from monocular video as well as from a single image. Extensive experimental results demonstrate that our framework can produce high-quality reconstruction but with much less computation time compared to the state-of-the-art. Moreover, our method is robust to pose, expression and lighting due to the diversity of data.

研究动机与目标

• 为解决训练深度学习模型所需的大型、逼真且细节丰富的3D人脸图像数据集缺乏的问题。
• 克服粗略形态可变形模型在生成真实面部细节（如皱纹和精细纹理）方面的局限性。
• 开发一种数据生成流程，可合成具有受控属性和逼真光照的多样化、高质量人脸图像。
• 构建大规模类似视频的相邻帧对数据集，以模拟真实世界的时间动态特性。
• 通过轻量级端到端深度学习框架，实现实时、准确的单目视频和单张图像3D人脸重建。

提出的方法

• 利用逆向渲染技术，通过优化外观和几何属性，合成具有多样化属性（如身份、姿态、表情、光照）的逼真人脸图像。
• 应用多尺度细节迁移技术，将高分辨率源图像中的细粒度纹理（如皱纹）注入目标图像，提升真实感。
• 利用上述技术构建大规模合成2D人脸图像数据集，包含详细的表面细节。
• 通过模拟真实运动和外观过渡，生成类似视频的相邻帧对，以模拟真实视频的分布特性。
• 设计一种粗到细的三阶段CNN架构，从单张2D图像或视频序列中逐步优化3D人脸形状与纹理。
• 使用合成数据集端到端训练网络，实现在消费级硬件上的实时推理。

实验结果

研究问题

• RQ1 基于逆向渲染与细节迁移的数据生成流程能否生成具有精细解剖细节的逼真、高分辨率3D人脸图像？
• RQ2 该合成数据集在不同姿态、表情和光照条件下，能否有效支持鲁棒的3D人脸重建？
• RQ3 在合成数据上训练的粗到细CNN框架，能否在保持高重建质量的同时实现实时性能？
• RQ4 使用类似视频的帧对在多大程度上提升了单目3D人脸重建的时间一致性？
• RQ5 与当前最先进方法相比，该方法在重建精度和推理速度方面表现如何？

主要发现

• 所提出的生成方法成功合成了具有皱纹等精细细节的逼真人脸图像，其真实感超过传统形态可变形模型。
• 通过多尺度细节迁移和类似视频的帧对增强的合成数据集，使模型在不同身份、姿态、表情和光照条件下均表现出良好的泛化能力。
• 3DFaceNet框架在标准GPU上实现了实时推理，相比当前最先进方法显著降低了计算时间。
• 由于训练数据的多样性，该模型在大姿态变化和复杂面部表情等挑战性条件下仍表现出强鲁棒性。
• 粗到细架构相比先前方法，实现了更高保真度的3D人脸重建，几何与纹理精度均得到提升。
• 该框架在保持低推理延迟的同时实现了具有竞争力的重建质量，适用于AR/VR和生物识别等实时应用。