[论文解读] High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies

Linchao Bao, Xiangkai Lin+10 more|arXiv (Cornell University)|Oct 12, 2020

Face recognition and analysis被引用 11

一句话总结

本文提出了一套全自动系统，仅需30秒内即可从消费级RGB-D自拍视频生成高保真、逼真的3D数字人像头部。该系统结合基于可微渲染的3D形态模型（3DMM）与基于参数拟合和卷积神经网络（CNN）的混合反照率合成方法，实现精细的面部几何结构以及高分辨率的反照率/法线图，真实还原毛孔、皱纹和头发细节。

ABSTRACT

We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human heads with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality head reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection procedure is first employed to select a few high-quality frames for reconstruction. Then a differentiable renderer based 3D Morphable Model (3DMM) fitting algorithm is applied to recover facial geometries from multiview RGB-D data, which takes advantages of a powerful 3DMM basis constructed with extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM, allowing us to recover more accurate facial geometry using merely linear basis. For reflectance synthesis, we present a hybrid approach that combines parametric fitting and CNNs to synthesize high-resolution albedo/normal maps with realistic hair/pore/wrinkle details. Results show that our system can produce faithful 3D digital human faces with extremely realistic details. The main code and the newly constructed 3DMM basis is publicly available.

研究动机与目标

• 仅使用消费级RGB-D摄像头，实现实时、高保真3D数字人像头部生成。
• 解决仅需最少用户输入即可从多视角RGB-D数据中准确重建面部几何结构的挑战。
• 合成高分辨率、逼真的反照率与法线图，包含毛孔、皱纹及眉毛发丝等精细细节。
• 开发全自动流水线，生成可驱动、适用于动画的3D虚拟形象，用户交互极少。

提出的方法

• 采用两阶段帧选择流程，从短时自拍视频中挑选高质量RGB-D帧用于重建。
• 采用基于可微渲染的3DMM拟合算法，利用新构建的高表达力3DMM（通过大量数据生成与扰动）恢复面部几何结构。
• 3DMM使用基于主成分分析（PCA）的纹理基底，而非生成对抗网络（GANs），以减少纹理空间维度并增强几何约束。
• 采用混合反照率合成流程：首先利用多分辨率金字塔基底对区域进行参数拟合，生成反照率与法线图。
• 随后通过基于CNN的优化网络对初始图进行增强，生成2048×2048高分辨率结果，实现逼真的精细细节。
• 系统自动完成头部建模，匹配发型模型，估计眼球与牙齿位置，并生成用于驱动的表达混合形状（blendshapes）。

实验结果

研究问题

• RQ1 全自动系统能否在30秒内从消费级RGB-D自拍视频生成高保真3D人像头部？
• RQ2 如何利用多视角RGB-D数据提升面部几何重建效果，超越单图或多视角RGB方法？
• RQ3 具备增强表达能力的可微3DMM是否能仅使用线性基底组件准确恢复面部几何结构？
• RQ4 结合参数化方法与深度学习的混合方法能否合成具有真实面部细节（如毛孔与皱纹）的高分辨率反照率与法线图？
• RQ5 该系统在训练集以外的种族（如非东亚裔）、或存在胡须、痣、雀斑等特征的个体上，泛化能力如何？

主要发现

• 系统仅需单段RGB-D自拍视频，在30秒内即可生成具有逼真几何结构与照片级真实感纹理的高质量3D数字人像头部。
• 通过大规模数据生成与扰动构建的新型3DMM，仅使用线性基底组件即可实现高精度面部几何结构恢复。
• 成功合成2048×2048高分辨率反照率与法线图，可清晰识别眉毛发丝、嘴唇皱纹与皮肤毛孔等细节。
• 通过参数拟合与CNN优化相结合的反照率合成流程，显著提升细节保真度，结果较以往方法更为逼真。
• 在不同光照条件与姿态下结果保持一致，但肤色变化受限于光照与反照率之间的固有模糊性。
• 系统生成的3D虚拟形象具备完整头部建模、匹配发型与表达混合形状，可直接用于实时动画与唇部同步应用。