[论文解读] FNeVR: Neural Volume Rendering for Face Animation

Bohan Zeng, Boyu Liu+6 more|arXiv (Cornell University)|Sep 21, 2022

Face recognition and analysis被引用 12

一句话总结

FNeVR 提出了一种统一的神经体积渲染框架，结合了2D运动映射以实现精确的面部表情迁移，以及3D体积渲染以实现高保真度的面部细节合成。通过引入一个使用正交自适应射线采样技术的3D面部体积渲染（FVR）模块，以及一个基于欧拉角的轻量化姿态编辑器，FNeVR 在标准基准测试中实现了逼真人脸动画的最先进性能，同时在细节保留和效率方面表现优异。

ABSTRACT

Face animation, one of the hottest topics in computer vision, has achieved a promising performance with the help of generative models. However, it remains a critical challenge to generate identity preserving and photo-realistic images due to the sophisticated motion deformation and complex facial detail modeling. To address these problems, we propose a Face Neural Volume Rendering (FNeVR) network to fully explore the potential of 2D motion warping and 3D volume rendering in a unified framework. In FNeVR, we design a 3D Face Volume Rendering (FVR) module to enhance the facial details for image rendering. Specifically, we first extract 3D information with a well-designed architecture, and then introduce an orthogonal adaptive ray-sampling module for efficient rendering. We also design a lightweight pose editor, enabling FNeVR to edit the facial pose in a simple yet effective way. Extensive experiments show that our FNeVR obtains the best overall quality and performance on widely used talking-head benchmarks.

研究动机与目标

• 解决在复杂形变和详细面部建模下生成身份保持、逼真人脸动画的挑战。
• 在一个统一框架中整合2D运动映射的优势（用于精确的表情迁移）与3D体积渲染的优势（用于高保真细节合成）。
• 通过仅在训练阶段使用3D重建进行监督，而非推理阶段，从而降低计算开销。
• 仅使用欧拉角作为输入，实现简单而高效的面部姿态编辑。

提出的方法

• 引入一个3D面部体积渲染（FVR）模块，利用两个CNN从2D映射特征中提取3D颜色和形状特征，由3D重建结果引导。
• 采用正交自适应射线采样模块，使用单个MLP直接处理3D特征，避免分层采样，提升效率。
• 应用感知损失以增强渲染特征图的质量，提升真实感。
• 设计一个轻量化姿态编辑器（LPE），以欧拉角作为输入，实现直接、高效的面部姿态编辑。
• 使用3D监督损失（$\mathcal{L}_{\sigma}$）确保训练过程中可靠学习3D形状信息。
• 将FVR模块集成到基于运动映射的人脸动画流程中，结合2D映射实现动作迁移，3D渲染实现细节增强。

实验结果

研究问题

• RQ1 一个统一的框架能否有效结合2D运动映射与3D体积渲染，从而同时提升人脸动画中的动作准确性和图像真实感？
• RQ2 如何在训练阶段使用3D形状监督，而不增加推理阶段的计算成本？
• RQ3 基于欧拉角的简单姿态编辑模块能否实现有效且可控的面部重定位？
• RQ4 3D特征学习与射线采样设计对面部细节质量的贡献是什么？
• RQ5 与SOTA方法相比，所提出的FNeVR在真实感、身份保持性和计算效率方面表现如何？

主要发现

• FNeVR 在标准说话头基准测试中取得最佳整体性能，在同身份与跨身份人脸动画任务中均优于SOTA方法。
• 在VoxCeleb测试集上，FNeVR 的FID为8.443，显著低于基线FOMM（11.56）和Face vid2vid-S（9.024），表明其图像质量和多样性更优。
• 消融研究证实，若移除$F_w$或$\mathcal{L}_\sigma$，性能会下降，证明运动特征输入与3D监督对细节保留的必要性。
• LPE模块成功基于欧拉角生成逼真的面部旋转，如定性可视化所示，证明了其有效且直观的姿态编辑能力。
• FNeVR 在显著低于Face vid2vid-S的FLOPs和参数量下实现高性能，展现出卓越的计算效率。
• 采用正交自适应射线采样的FVR模块实现了高效渲染，并相比基线2D映射与基于3D的方法，显著提升了面部细节质量。