[论文解读] High-Fidelity 3D Digital Human Creation from RGB-D Selfies

Xiangkai Lin, Yajing Chen+8 more|arXiv (Cornell University)|Oct 12, 2020

Face recognition and analysis参考文献 75被引用 5

一句话总结

本论文提出了一套全自动系统，仅需30秒内即可从消费级RGB-D自拍视频生成高保真、逼真的3D数字人像。该系统引入了一种基于可微渲染的3DMM拟合方法，具备更强的表达能力，并采用混合CNN-参数化方法进行反照率合成，实现了最先进的面部几何与细节保真度。

ABSTRACT

We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human characters with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection algorithm is first employed to select a few high-quality frames for reconstruction. A novel, differentiable renderer based 3D Morphable Model (3DMM) fitting method is then applied to recover facial geometries from multiview RGB-D data, which takes advantages of extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM, allowing us to recover more accurate facial geometry using merely linear bases. For reflectance synthesis, we present a hybrid approach that combines parametric fitting and CNNs to synthesize high-resolution albedo/normal maps with realistic hair/pore/wrinkle details. Results show that our system can produce faithful 3D characters with extremely realistic details. Code and the constructed 3DMM is publicly available.

研究动机与目标

• 实现从消费级RGB-D自拍视频中全自动、高保真度的3D数字人像重建。
• 解决在输入数据有限的情况下捕捉面部细微特征（如毛孔、皱纹和头发）的挑战。
• 通过更具表达能力的可微拟合框架，提升传统3DMM的面部几何精度。
• 采用混合参数化与深度学习方法，合成具有真实微细节的高分辨率反照率图与法线图。
• 构建一个仅需极少用户输入、可实时运行且生成照片级真实感结果的系统。

提出的方法

• 一种两阶段帧选择算法从输入的RGB-D视频中识别高质量帧用于重建。
• 采用一种新颖的基于可微渲染的3D形态可变模型（3DMM）拟合方法，从多视角RGB-D数据中恢复精细的面部几何。
• 所提出的3DMM采用线性基，其表达能力显著大于传统3DMM，可在无需复杂优化的情况下实现精确的几何恢复。
• 一种混合反照率合成流程结合参数化拟合与卷积神经网络（CNNs），用于生成高分辨率反照率图与法线图。
• 系统在3DMM拟合过程中利用大量数据生成与扰动，以提升鲁棒性与细节精度。
• 整个流程端到端可训练，并可在消费级硬件上于30秒内完成。

实验结果

研究问题

• RQ1 全自动系统能否仅从单个消费级RGB-D自拍视频实现高保真3D人像重建？
• RQ2 仅依赖线性基的3DMM如何通过改进拟合方法实现更高的面部几何精度？
• RQ3 混合参数化与CNN方法在多大程度上能提升反照率图与法线图的逼真度，特别是对毛孔与皱纹等细微特征的还原？
• RQ4 将可微渲染应用于多视角RGB-D数据时，能否提升3DMM拟合性能？
• RQ5 结合优化的帧选择与先进的几何与反照率建模方法，系统能达到怎样的重建质量与速度？

主要发现

• 系统仅需单个RGB-D自拍视频，在30秒内即可生成高质量的3D数字人像。
• 所提出的基于可微渲染的3DMM拟合方法在面部几何精度方面优于以往最先进的方法。
• 通过增强表达能力的3DMM，仅使用线性基即可实现精确的几何恢复，简化了优化过程。
• 混合反照率合成方法成功在高分辨率反照率图与法线图中捕捉到逼真的头发、毛孔与皱纹细节。
• 系统在细微面部特征上表现优异，仅需极少用户输入即可实现照片级真实感效果。
• 代码与构建的3DMM已公开发布，支持更广泛的研究与应用复用。