[论文解读] FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation

ShahRukh Athar, Zhixin Shu+1 more|arXiv (Cornell University)|Aug 10, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

FLAME-in-NeRF 提出了一种新颖的神经辐射场方法，仅使用手机拍摄的视频即可实现肖像视频中面部表情的显式、解耦控制与新视角合成。通过将 NeRF 条件化在三维可塑性模型（3DMM）的表情参数上，并应用来自 3DMM 拟合的空间先验，该方法在任意视角下均实现了高保真度重动画与准确的表情迁移，其重建与重动画质量均优于基线 NeRF 方法。

ABSTRACT

This paper presents a neural rendering method for controllable portrait video synthesis. Recent advances in volumetric neural rendering, such as neural radiance fields (NeRF), has enabled the photorealistic novel view synthesis of static scenes with impressive results. However, modeling dynamic and controllable objects as part of a scene with such scene representations is still challenging. In this work, we design a system that enables both novel view synthesis for portrait video, including the human subject and the scene background, and explicit control of the facial expressions through a low-dimensional expression representation. We leverage the expression space of a 3D morphable face model (3DMM) to represent the distribution of human facial expressions, and use it to condition the NeRF volumetric function. Furthermore, we impose a spatial prior brought by 3DMM fitting to guide the network to learn disentangled control for scene appearance and facial actions. We demonstrate the effectiveness of our method on free view synthesis of portrait videos with expression controls. To train a scene, our method only requires a short video of a subject captured by a mobile device.

研究动机与目标

• 实现对肖像视频的可控、逼真新视角合成，并具备显式的人脸表情控制能力。
• 解决在动画动态人脸时，神经辐射场中表情与外观纠缠的问题。
• 开发一种可从短时、手机拍摄视频中训练的系统，无需专用硬件。
• 利用基于 3DMM 的空间先验，将人脸表情与场景外观解耦，确保仅人脸相关几何受表情变化影响。

提出的方法

• 将神经辐射场（NeRF）条件化在 3DMM 表情参数（γ）上，以实现显式的人脸表情控制。
• 整合源自 3DMM 拟合的时空射线采样先验，以约束网络实现表情与场景外观的解耦。
• 使用经过优化形变码的基准帧，将动态帧对齐至基准几何，以提升训练稳定性。
• 采用多分量损失函数训练 NeRF：包括像素级重建损失、感知损失，以及对表情与外观码的正则化。
• 利用 DECA 从驱动视频中提取表情参数，这些参数随后作为输入用于驱动 FLAME-in-NeRF 中的重动画。
• 应用分层体素采样与体素渲染，以实现对训练后 NeRF 的新视角渲染，支持表情与视角控制。

Figure 1 : FLAME- in -NeRF. Our method, FLAME- in -NeRF, models portrait videos (left) using an expression conditioned neural radiance field with a spatial prior (middle). Once trained, FLAME- in -NeRF can reanimate the subject and the scene present in the portrait video with arbitrary facial expres

实验结果

研究问题

• RQ1 神经辐射场能否被显式地条件化在人脸表情参数上，以实现可控的肖像视频重动画？
• RQ2 引入基于 3DMM 的空间先验后，如何提升 NeRF 中人脸表情与场景外观之间的解耦程度？
• RQ3 能否仅从短时、手机拍摄的肖像视频中实现高保真度的新视角合成与表情控制，且无需专用设备？
• RQ4 标准 NeRF 方法中，表情-外观纠缠如何降低重动画质量？该问题能否被有效缓解？
• RQ5 所提出方法在表情驱动的重动画过程中，对细粒度面部特征（如头发、眼镜）的保留程度如何，尤其是在新视角下？

主要发现

• FLAME-in-NeRF 在重建与重动画质量方面均优于 Nerfies，在验证图像上实现了更低的 MSE 与更高的 PSNR。
• 该方法成功实现了在任意视角下的高保真表情迁移，而 Nerfies 因表情-外观纠缠问题未能捕捉正确表情。
• 重动画结果表明，FLAME-in-NeRF 能够在任意相机视角下准确再现驱动表情，而 Nerfies 仅表现出微弱的视角依赖性表情变化。
• 来自 3DMM 拟合的空间先验显著提升了解耦效果，有效防止了表情变化对场景外观的破坏。
• 系统仅使用手机拍摄的短时视频即实现了高质量结果，证明了其在消费级数据采集中的可行性。
• 该方法在表情驱动的重动画过程中，对细粒度面部特征（如头发、胡须、牙齿、眼镜）实现了高保真度保留，即使在大幅表情变化下亦表现稳定。

Figure 2 : Overview of training FLAME- in -NeRF. First, we use DECA [ 10 ] and landmark fitting [ 14 ] to extract per-frame camera, shape, and expression parameters. Next, these parameters are used to render a silhouette of the FLAME model geometry. This silhouette is used to provide a spatial prior