[论文解读] GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation

Zhenhui Ye, Jinzheng He+8 more|arXiv (Cornell University)|May 1, 2023

Face recognition and analysis被引用 5

一句话总结

GeneFace++ 提出了一种基于 NeRF 的实时音频驱动 3D 嘴巴说话人脸生成方法，实现了泛化的音频-嘴唇同步、高画质和快速推理。该方法引入了具有时间平滑性的音高感知音频到运动模块，以及基于地标局部线性嵌入（LLE）的后处理方法，以增强运动的一致性和鲁棒性，从而实现稳定、实时的渲染，并达到当前最先进性能。

ABSTRACT

Generating talking person portraits with arbitrary speech audio is a crucial problem in the field of digital human and metaverse. A modern talking face generation method is expected to achieve the goals of generalized audio-lip synchronization, good video quality, and high system efficiency. Recently, neural radiance field (NeRF) has become a popular rendering technique in this field since it could achieve high-fidelity and 3D-consistent talking face generation with a few-minute-long training video. However, there still exist several challenges for NeRF-based methods: 1) as for the lip synchronization, it is hard to generate a long facial motion sequence of high temporal consistency and audio-lip accuracy; 2) as for the video quality, due to the limited data used to train the renderer, it is vulnerable to out-of-domain input condition and produce bad rendering results occasionally; 3) as for the system efficiency, the slow training and inference speed of the vanilla NeRF severely obstruct its usage in real-world applications. In this paper, we propose GeneFace++ to handle these challenges by 1) utilizing the pitch contour as an auxiliary feature and introducing a temporal loss in the facial motion prediction process; 2) proposing a landmark locally linear embedding method to regulate the outliers in the predicted motion sequence to avoid robustness issues; 3) designing a computationally efficient NeRF-based motion-to-video renderer to achieves fast training and real-time inference. With these settings, GeneFace++ becomes the first NeRF-based method that achieves stable and real-time talking face generation with generalized audio-lip synchronization. Extensive experiments show that our method outperforms state-of-the-art baselines in terms of subjective and objective evaluation. Video samples are available at https://genefaceplusplus.github.io .

研究动机与目标

• 解决基于 NeRF 的说话人脸生成中长期时间不一致性和音频-嘴唇同步精度低的问题。
• 提升对域外（OOD）面部动作（如夸张的嘴部形状）的鲁棒性，此类动作会降低渲染质量。
• 提升系统效率，实现实时推理，同时保持高画质和 3D 一致性。
• 在跨身份、跨语言和歌唱语音等多样化音频输入下实现泛化性能。
• 克服先前基于 NeRF 方法在训练稳定性、推理速度和渲染保真度方面的局限性。

提出的方法

• 在音频到运动模块中引入音高轮廓作为辅助音频特征，以提升唇音同步精度和时间一致性。
• 在关键点预测过程中应用时间平滑损失，以减少抖动并提升长序列下的运动平滑性。
• 提出基于地标局部线性嵌入（LLE）的方法，通过将异常值投影到目标身份的流形中，对预测的面部关键点进行后处理，从而增强鲁棒性。
• 设计一种计算高效的即时运动到视频渲染器，采用基于超坐标表示的 NeRF，实现优化的推理速度。
• 采用 3D 超坐标表示面部关键点，以在模型容量和渲染质量之间取得平衡。
• 在渲染器中通过 Postnet 集成对抗性域自适应，将预测运动对齐到训练分布，减少渲染伪影。

实验结果

研究问题

• RQ1 将音高轮廓作为辅助特征是否能有效提升长时序说话人脸生成中的音频-嘴唇同步和时间一致性？
• RQ2 基于流形的后处理方法（如地标 LLE）是否能有效减少由域外面部动作引起的渲染失败？
• RQ3 轻量级、即时的运动到视频 NeRF 渲染器是否能在不牺牲画质或 3D 一致性的情况下实现实时推理？
• RQ4 所提方法在多样化音频输入（如歌唱和跨身份语音）下的泛化性能如何？
• RQ5 在运动到视频渲染流程中，模型容量（超坐标维度）与推理速度之间的最优权衡是什么？

主要发现

• 音高感知音频到运动模块相比基线将 LMD 降低了 12.8%，Sync 分提升了 1.05 分，显著增强了唇音同步精度和时间稳定性。
• 使用 LLE 后，坏 case 率从无 LLE 时的 51.3% 降低至 α=1.0 时的 10.2%，且 Sync 分仅轻微下降，证明其在处理 OOD 关键点方面具有显著效果。
• 在 LLE 中使用 α=0.5 可实现最佳权衡，将坏 case 率降至 16.4%，同时保持高水平的唇音同步质量。
• 将超坐标维度从 2 增加到 3，使唇部区域的 PSNR 提升 0.32 dB（31.13 → 31.22），表明对高频唇部动态的建模能力更强。
• 即时运动到视频渲染器在使用 3D 超坐标时达到 23.55 FPS，实现实时推理，同时保持高 PSNR（面部为 31.22，唇部为 30.21）。
• 消融实验表明，音高感知建模和 LLE 均对鲁棒性和性能至关重要，任一组件的移除均导致 LMD 和 Sync 分显著下降。