[论文解读] Audio2Head: Audio-driven One-shot Talking-head Generation with Natural Head Motion

Suzhen Wang, Lincheng Li+3 more|arXiv (Cornell University)|Jul 20, 2021

Face recognition and analysis参考文献 23被引用 9

一句话总结

该论文提出 Audio2Head，一种新颖的音频驱动说话头像生成框架，仅需单张参考图像和音频即可生成照片级真实感、节奏自然的头部动作。通过使用运动感知RNN与基于关键点的密集运动场表示，将头部动作预测与面部表情生成解耦，该方法实现了高度同步、自然的头部运动，且背景伪影极少，视觉质量与动作真实感均优于当前最先进方法。

ABSTRACT

We propose an audio-driven talking-head method to generate photo-realistic talking-head videos from a single reference image. In this work, we tackle two key challenges: (i) producing natural head motions that match speech prosody, and (ii) maintaining the appearance of a speaker in a large head motion while stabilizing the non-face regions. We first design a head pose predictor by modeling rigid 6D head movements with a motion-aware recurrent neural network (RNN). In this way, the predicted head poses act as the low-frequency holistic movements of a talking head, thus allowing our latter network to focus on detailed facial movement generation. To depict the entire image motions arising from audio, we exploit a keypoint based dense motion field representation. Then, we develop a motion field generator to produce the dense motion fields from input audio, head poses, and a reference image. As this keypoint based representation models the motions of facial regions, head, and backgrounds integrally, our method can better constrain the spatial and temporal consistency of the generated videos. Finally, an image generation network is employed to render photo-realistic talking-head videos from the estimated keypoint based motion fields and the input reference image. Extensive experiments demonstrate that our method produces videos with plausible head motions, synchronized facial expressions, and stable backgrounds and outperforms the state-of-the-art.

研究动机与目标

• 从单张参考图像生成具有自然、音频同步头部动作的逼真说话头像视频。
• 解决训练数据中头部动作与音频对应关系模糊的挑战。
• 在大角度头部姿态变化时，抑制非面部区域（如头发、背景）的视觉伪影。
• 提升生成视频序列在时空上的一致性。
• 相比当前最先进方法，实现更优的视觉质量与动作真实感。

提出的方法

• 使用运动感知循环神经网络（RNN）从音频中预测6D刚性头部姿态，建模低频整体头部运动。
• 采用基于关键点的密集运动场表示，同时建模面部区域、头部与背景的运动。
• 通过相对关键点位移，利用图像运动场生成器从音频、预测的头部姿态与参考图像生成密集运动场。
• 利用可微分变形将运动场应用于参考图像，实现高保真视频合成。
• 通过神经图像生成网络从形变后的特征与运动场中渲染出照片级真实帧。
• 采用两阶段训练策略，结合像素级一致性损失与结构相似性（SSIM）损失，提升时间一致性与视觉保真度。

实验结果

研究问题

• RQ1 单图像、音频驱动的说话头像生成模型能否生成与语音语调匹配的自然、有节奏的头部动作？
• RQ2 如何将头部动作预测与面部表情生成解耦，以减少歧义并提升真实感？
• RQ3 基于关键点的密集运动场表示能否有效建模并稳定大角度头部姿态变化时的面部与非面部区域运动？
• RQ4 运动场正则化与损失函数对时间一致性与视觉质量有何影响？
• RQ5 与SOTA方法相比，该方法在唇部同步准确性、头部动作质量与背景伪影抑制方面表现如何？

主要发现

• 用户评估显示，该方法自然度评分为66.7%（5分制中4分及以上），显著优于所有SOTA方法。
• 在VoxCeleb数据集上的定量评估中，该方法达到PSNR 21.19与SSIM 0.68，展现出优异的视觉保真度。
• 消融实验表明，若移除雅可比矩阵正则化，唇部动作将变得不自然；若省略SET模块或第二阶段训练，则抖动增加且同步性下降。
• 即使在大角度头部姿态变化下，该方法仍能保持背景稳定，纹理失真与伪影极少。
• 该模型实现了更优的动作真实感，用户感知其头部动作比基线方法更自然、更具节奏感。
• 尽管在双唇音（如p、f、m）等音素上唇部同步准确性略有下降，但整体视觉质量与动作真实感仍更受用户青睐。