[论文解读] HeadGAN: Video-and-Audio-Driven Talking Head Synthesis

Michail Christos Doukas, Stefanos Zafeiriou+1 more|arXiv (Cornell University)|Dec 15, 2020

Face recognition and analysis被引用 4

一句话总结

HeadGAN 提出了一种基于 GAN 的说话头生成方法，利用驱动视频中的 3D 面部表示和音频特征，以提升身份保留度和照片级真实感，尤其在极端头部姿态下表现更优。该方法通过同时利用 3D 面部几何和音频线索作为生成器的条件输入，实现了更自然的嘴部运动和更真实的面部重演。

ABSTRACT

Recent attempts to solve the problem of talking head synthesis using a single reference image have shown promising results. However, most of them fail to meet the identity preservation problem, or perform poorly in terms of photo-realism, especially in extreme head poses. We propose HeadGAN, a novel reenactment approach that conditions synthesis on 3D face representations, which can be extracted from any driving video and adapted to the facial geometry of any source. We improve the plausibility of mouth movements, by utilising audio features as a complementary input to the Generator. Quantitative and qualitative experiments demonstrate the merits of our approach.

研究动机与目标

• 解决单图像说话头生成中的身份保留问题。
• 提升照片级真实感，尤其是在先前方法失效的极端头部姿态下。
• 通过引入音频特征作为条件信号，提升嘴部运动的真实感。
• 通过将 3D 面部表示适配到源身份，实现鲁棒的面部重演。

提出的方法

• 将生成器条件化为从驱动视频中提取的 3D 面部表示，以保留身份和几何结构。
• 将 3D 面部表示适配以匹配源图像的面部结构，实现身份对齐。
• 将音频特征作为额外输入引入生成器，以引导逼真的唇部运动。
• 采用 GAN 框架，其中判别器强制执行感知质量和身份一致性。
• 训练生成器以生成与视觉运动和音频驱动语音对齐的视频帧。
• 采用两阶段训练流程：首先从驱动视频中提取 3D 面部几何；其次生成条件化于源身份、3D 几何和音频的帧。

实验结果

研究问题

• RQ1 从驱动视频中提取的 3D 面部表示能否提升说话头生成中的身份保留度？
• RQ2 引入音频特征是否能带来更真实且同步的唇部运动？
• RQ3 与先前方法相比，该方法在极端头部姿态下的表现如何？
• RQ4 3D 几何与音频的结合在多大程度上提升了生成说话头的照片级真实感？

主要发现

• HeadGAN 通过将驱动视频中的 3D 面部表示与源图像对齐，实现了卓越的身份保留效果。
• 音频特征的整合显著提升了嘴部运动的真实感和同步性。
• 该方法在极端头部姿态下表现出鲁棒性能，视觉合理性优于先前方法。
• 定量和定性评估均证实生成视频在照片级真实感和时间一致性方面得到增强。