[论文解读] Audio-driven Talking Face Video Generation with Natural Head Pose

Ran Yi, Zipeng Ye+3 more|arXiv (Cornell University)|Feb 24, 2020

Face recognition and analysis被引用 16

一句话总结

本文提出一种深度神经网络，通过利用音频和一段简短的目标视频，生成高质量的说话人脸视频，并实现个性化、自然的头部姿态。该方法重建3D人脸动画，并采用记忆增强生成对抗网络（GAN）优化帧，仅需约300帧微调数据即可实现逼真的头部运动与口型同步。

ABSTRACT

Real-world talking faces often accompany with natural head movement. However, most existing talking face video generation methods only consider facial animation with fixed head pose. In this paper, we address this problem by proposing a deep neural network model that takes an audio signal A of a source person and a very short video V of a target person as input, and outputs a synthesized high-quality talking face video with personalized head pose (making use of the visual information in V), expression and lip synchronization (by considering both A and V). The most challenging issue in our work is that natural poses often cause in-plane and out-of-plane head rotations, which makes synthesized talking face video far from realistic. To address this challenge, we reconstruct 3D face animation and re-render it into synthesized frames. To fine tune these frames into realistic ones with smooth background transition, we propose a novel memory-augmented GAN module. By first training a general mapping based on a publicly available dataset and fine-tuning the mapping using the input short video of target person, we develop an effective strategy that only requires a small number of frames (about 300 frames) to learn personalized talking behavior including head pose. Extensive experiments and two user studies show that our method can generate high-quality (i.e., personalized head movements, expressions and good lip synchronization) talking face videos, which are naturally looking with more distinguishing head movement effects than the state-of-the-art methods.

研究动机与目标

• 解决现有说话人脸视频方法中头部姿态固定的问题，实现自然且个性化的头部运动。
• 建模由自然言语引起的平面内与平面外头部旋转，这些对逼真合成构成挑战。
• 仅使用一段简短的目标视频，生成高保真度的说话人脸视频，实现口型同步与生动的面部动态。
• 开发一种微调策略，仅用少量帧（约300帧）高效学习个性化说话行为，包括头部姿态。

提出的方法

• 模型以音频A和目标人物的简短视频V作为输入，生成具有动态头部姿态的个性化说话人脸视频。
• 从音频和视觉输入中重建3D人脸动画，实现逼真的平面内与平面外头部旋转。
• 引入记忆增强GAN模块以优化生成帧，确保背景过渡平滑且图像逼真。
• 采用两阶段训练策略：首先在公开数据集上进行预训练，然后在目标人物的简短视频上进行微调，以适应个体头部运动模式。
• 利用简短视频V中的视觉线索推断个性化头部姿态行为，即使帧数有限亦可实现。
• 通过联合建模音频与视觉信号实现口型同步，确保语音与嘴部动作的时间对齐。

实验结果

研究问题

• RQ1 深度学习模型能否仅使用目标人物的简短视频，生成具有自然、个性化头部运动的说话人脸视频？
• RQ2 3D人脸动画重建与基于GAN的优化在提升具有动态头部姿态的合成说话人脸视频真实感方面效果如何？
• RQ3 在仅约300帧的少量帧上进行微调，能在多大程度上准确建模个体头部运动模式？
• RQ4 与最先进方法相比，该方法在口型同步、面部表情与头部运动自然度方面表现如何？

主要发现

• 与最先进方法相比，所提方法生成的说话人脸视频在头部运动效果上更具辨识度与自然感。
• 用户研究表明，由于头部姿态动态准确，生成的视频在视觉上更具真实感与吸引力。
• 通过联合建模音频与视觉模态，方法实现了高质量的口型同步。
• 仅使用约300帧目标人物视频进行微调，即可充分学习个性化说话行为，包括复杂的头部姿态模式。
• 记忆增强GAN模块成功提升了帧的真实感，并确保了合成视频中背景过渡的平滑性。
• 大量实验证明，该方法在各类测试案例中均持续展现出更优的视觉质量与运动自然度。