[论文解读] HeadNeRF: A Real-time NeRF-based Parametric Head Model

Yang Hong, Bo Peng+3 more|arXiv (Cornell University)|Dec 10, 2021

3D Shape Modeling and Analysis被引用 8

一句话总结

HeadNeRF 提出首个基于神经辐射场的实时参数化人脸模型，利用神经辐射场作为3D代理，实现高保真、多视角一致的人脸渲染。通过结合2D神经渲染与NeRF，并引入新型损失函数，将每帧渲染时间从5秒加速至25ms，同时支持对身份、表情、外观和相机位姿的解耦控制。

ABSTRACT

In this paper, we propose HeadNeRF, a novel NeRF-based parametric head model that integrates the neural radiance field to the parametric representation of the human head. It can render high fidelity head images in real-time on modern GPUs, and supports directly controlling the generated images' rendering pose and various semantic attributes. Different from existing related parametric models, we use the neural radiance fields as a novel 3D proxy instead of the traditional 3D textured mesh, which makes that HeadNeRF is able to generate high fidelity images. However, the computationally expensive rendering process of the original NeRF hinders the construction of the parametric NeRF model. To address this issue, we adopt the strategy of integrating 2D neural rendering to the rendering process of NeRF and design novel loss terms. As a result, the rendering speed of HeadNeRF can be significantly accelerated, and the rendering time of one frame is reduced from 5s to 25ms. The well designed loss terms also improve the rendering accuracy, and the fine-level details of the human head, such as the gaps between teeth, wrinkles, and beards, can be represented and synthesized by HeadNeRF. Extensive experimental results and several applications demonstrate its effectiveness. The trained parametric model is available at https://github.com/CrisHY1995/headnerf.

研究动机与目标

• 开发一种支持实时、高保真渲染且具备多视角一致性的参数化人脸模型。
• 通过结合2D神经渲染以加速推理，克服NeRF的计算瓶颈，同时保持图像质量。
• 在基于NeRF的参数化人脸模型中实现对身份、表情、外观和渲染姿态等语义属性的有效解耦控制。
• 仅使用2D图像进行模型训练，避免对昂贵的3D扫描数据的依赖。
• 支持新型应用，如新视角合成、属性编辑以及具有强几何一致性的面部重演。

提出的方法

• 使用神经辐射场（NeRF）作为可微分的3D表示，替代传统的纹理网格。
• 将粗到精的2D神经渲染与NeRF体素渲染相结合，将每帧推理时间加速至25ms（40+ fps）。
• 采用多分支MLP，沿从场景采样得到的射线上预测3D点密度σ(x)和特征向量F(x)。
• 应用新型2D神经渲染模块πψ，从低分辨率特征图IF重建最终图像I。
• 设计专用损失函数，在训练过程中实现对身份、表情、外观和光照属性的解耦。
• 仅使用大规模数据集（如FFHQ、FaceSEIP）中的2D图像进行端到端训练，避免显式的3D监督。

实验结果

研究问题

• RQ1 基于NeRF的参数化人脸模型能否在保持高保真度和多视角一致性的同时实现实时渲染？
• RQ2 如何在不牺牲视觉质量的前提下，加速NeRF昂贵的渲染过程以实现实时推理？
• RQ3 在基于NeRF的参数化人脸模型中，身份、表情和外观等语义属性能否被有效解耦？
• RQ4 基于NeRF的模型在仅使用2D图像监督的情况下，对新视角和属性编辑的泛化能力如何？
• RQ5 该模型能否支持面部重演和新视角合成等实际应用，并保持几何保真度？

主要发现

• HeadNeRF 将每帧渲染时间从5秒缩短至25ms，实现在现代GPU上超过40fps的实时推理。
• 与基于2D GAN的方法（如pi-GAN和GIRAFFE）相比，该模型在姿态编辑下展现出更优的多视角一致性。
• 通过解耦潜在空间控制，成功合成牙齿缝隙、皱纹和胡须等精细细节。
• 定量评估显示，HeadNeRF 在PSNR和SSIM指标上优于pi-GAN和GIRAFFE，泛化能力更强且过拟合更少。
• 通过潜码替换，该模型可实现高质量的面部重演，即将参考视频中的表情迁移至目标图像。
• 在处理分布外情况（如头饰、复杂光照）时仍存在局限，表明未来通过更大、更多样化数据集可进一步提升性能。