[论文解读] FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

Haotian Yang, Hao Zhu+5 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 63被引用 12

一句话总结

本文提出了 FaceScape，一个大规模的3D人脸数据集，包含从938名受试者中捕获的18,760个高保真度纹理3D人脸，涵盖20种表情，几何细节达到毛孔级别。该研究提出了一种深度学习流程，通过学习双线性参数化模型中的动态面部细节，从单张图像预测出细节丰富且可驱动的3D人脸模型，实现了最先进的重建精度，并实现了具有精细几何细节的逼真表情动画。

ABSTRACT

In this paper, we present a large-scale detailed 3D face dataset, FaceScape, and propose a novel algorithm that is able to predict elaborate riggable 3D face models from a single image input. FaceScape dataset provides 18,760 textured 3D faces, captured from 938 subjects and each with 20 specific expressions. The 3D models contain the pore-level facial geometry that is also processed to be topologically uniformed. These fine 3D facial models can be represented as a 3D morphable model for rough shapes and displacement maps for detailed geometry. Taking advantage of the large-scale and high-accuracy dataset, a novel algorithm is further proposed to learn the expression-specific dynamic details using a deep neural network. The learned relationship serves as the foundation of our 3D face prediction system from a single image input. Different than the previous methods, our predicted 3D models are riggable with highly detailed geometry under different expressions. The unprecedented dataset and code will be released to public for research purpose.

研究动机与目标

• 解决缺乏大规模、高质量、具备精细几何细节与拓扑一致性的3D人脸数据集的问题。
• 克服先前方法在从单张图像预测细微动态面部细节（如皱纹）方面的局限性。
• 开发一种基于深度学习的系统，生成在多种表情下均具备高保真度几何细节的可驱动3D人脸模型。
• 通过从大规模数据集中学习表情特异性动态细节，实现精确的3D人脸重建与动画。

提出的方法

• 使用密集的68台相机阵列在受控光照条件下捕获18,760个高分辨率3D人脸扫描，实现毛孔级别的几何细节。
• 将原始扫描转换为拓扑一致的基网格和位移图，以分离粗略形状与精细细节。
• 利用处理后的数据在身份与表情空间中构建双线性参数化模型，实现稳健的形状表示。
• 提出一种深度神经网络，从单张图像预测位移图与动态细节，条件基于表情特异性形变图。
• 设计了一个三阶段流程：基模型拟合、位移图预测与动态细节合成，实现完整的可驱动3D人脸生成。
• 采用包含50个身份参数、52个表情参数和100个反照率参数的参数化模型，以确保面部几何的一致性与可控性。

实验结果

研究问题

• RQ1 能否使用密集多视角相机系统构建具备毛孔级别几何细节的大规模3D人脸数据集？
• RQ2 如何利用深度学习从单张图像有效预测动态面部细节（如皱纹）？
• RQ3 基于高质量数据构建的双线性参数化模型在多大程度上能提升3D人脸重建的保真度？
• RQ4 所预测的3D人脸模型能否被成功驱动，以生成具备精细几何细节的逼真表情？
• RQ5 动态细节学习与形变图条件化对合成面部几何的逼真度与准确性有何影响？

主要发现

• 所提方法在所有表情下的平均点到平面重建误差为1.39毫米，优于先前方法（DFDN：2.19毫米，Extreme3D：2.06毫米，3DDFA：2.17毫米）。
• 包含动态细节的模型在源表情下的平均误差为1.22毫米，证明了其在重建输入人脸几何方面的高精度。
• 消融实验表明，动态细节学习与形变图条件化对生成表情特异性皱纹均至关重要，二者缺失将导致精细几何细节的丢失。
• 视觉对比显示，所预测模型包含逼真、表情相关的皱纹，是先前方法无法恢复的。
• FaceScape数据集包含18,760个高保真度3D人脸，是迄今为止最详细、最全面的3D人脸数据集，可显著提升模型学习效果。
• 发布的数据集与代码有望加速3D人脸建模、动画与单图像重建领域的研究进展。