[论文解读] Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis

Shuai Shen, Wanhua Li+4 more|arXiv (Cornell University)|Jul 24, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出动态面部辐射场（DFRF），一种少样本说话头生成方法，仅需数十秒训练数据即可快速泛化至未见过的身份。通过将3D感知辐射场条件化于2D参考图像，并采用音频条件化的可微分人脸形变模块，DFRF仅用40k次迭代即可实现高保真、照片级真实的说话头视频生成，在少样本设置下优于现有的NeRF基方法。

ABSTRACT

Talking head synthesis is an emerging technology with wide applications in film dubbing, virtual avatars and online education. Recent NeRF-based methods generate more natural talking videos, as they better capture the 3D structural information of faces. However, a specific model needs to be trained for each identity with a large dataset. In this paper, we propose Dynamic Facial Radiance Fields (DFRF) for few-shot talking head synthesis, which can rapidly generalize to an unseen identity with few training data. Different from the existing NeRF-based methods which directly encode the 3D geometry and appearance of a specific person into the network, our DFRF conditions face radiance field on 2D appearance images to learn the face prior. Thus the facial radiance field can be flexibly adjusted to the new identity with few reference images. Additionally, for better modeling of the facial deformations, we propose a differentiable face warping module conditioned on audio signals to deform all reference images to the query space. Extensive experiments show that with only tens of seconds of training clip available, our proposed DFRF can synthesize natural and high-quality audio-driven talking head videos for novel identities with only 40k iterations. We highly recommend readers view our supplementary video for intuitive comparisons. Code is available in https://sstzal.github.io/DFRF/.

研究动机与目标

• 解决现有NeRF基说话头方法依赖大规模数据集且需为每个身份重新训练的局限性。
• 实现在极小数据量下对新身份的快速适应，实现在少样本设置下的高质量生成。
• 通过学习基于音频信号的3D逐点形变场，改进说话头动画中的面部形变建模。
• 即使在训练数据有限且训练时间短的情况下，仍保持高保真的音视频同步与照片级细节。

提出的方法

• 该方法通过2D参考图像特征对神经辐射场进行条件化，以学习通用人脸先验，从而实现对新身份的快速适应。
• 引入一种可微分人脸形变模块，利用音频条件化的3D逐点形变场将参考图像形变至查询空间。
• 通过参考图像特征与音频输入动态调整，隐式建模3D几何与外观。
• 采用3D到2D的投影机制，从参考图像提取像素信息以指导渲染，形变模块则用于校正说话过程中的面部形变。
• 模型使用少量参考帧（如15秒片段）进行端到端训练，仅需40k次迭代即可优化。
• 该框架支持零样本身份泛化与跨语言推理，在多种语言和性别下均保持唇音同步准确性。

实验结果

研究问题

• RQ1 神经辐射场能否有效条件化于2D参考图像，以实现在说话头生成中对新身份的快速少样本适应？
• RQ2 在NeRF基框架中，如何更好建模说话过程中的面部形变以提升真实感与一致性？
• RQ3 音频条件化的可微分形变模块能否在渲染过程中改善参考图像与查询空间之间的对齐？
• RQ4 在极端数据稀缺（如15秒训练数据）条件下，该方法在视觉质量与音视频同步方面的表现如何？
• RQ5 该方法能否在保持高保真度与同步性的同时，跨不同语言与说话人身份实现泛化？

主要发现

• 仅使用15秒训练数据与10k次迭代，DFRF即可生成显著更清晰、更逼真的照片级说话头视频，优于NeRF与AD-NeRF。
• 在少样本设置（15秒片段）下，DFRF在测试集A上达到PSNR 33.28与LPIPS 0.029，优于AD-NeRF（33.20，0.032）与NeRF。
• 在测试集B上，DFRF达到PSNR 34.65与LPIPS 0.027，超越AD-NeRF（33.85，0.028），展现出更优的视觉质量。
• 该方法保持了强大的音视频同步性能，在测试集B上获得SyncNet分数1/5.755，表明唇部动作准确。
• 在跨语言设置中，DFRF实现一致的SyncNet分数（如英语源为1/5.301，中文源为1/5.755），表明其在不同语言与性别间均具鲁棒性。
• 即使使用180秒训练数据，DFRF仍优于非NeRF的3D基方法[37]与[39]，证实其在建模面部动态方面的优越性。