[论文解读] Everybody's Talkin': Let Me Talk as You Want

Linsen Song, Wayne Wu+3 more|arXiv (Cornell University)|Jan 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 35

一句话总结

论文提出一个端到端框架，通过将源音频转化为目标表情参数来编辑目标肖像视频，然后用神经视频渲染网络渲染出照片级真实感视频，实现无身份特定网络的多对多音频到视频翻译。

ABSTRACT

We present a method to edit a target portrait footage by taking a sequence of audio as input to synthesize a photo-realistic video. This method is unique because it is highly dynamic. It does not assume a person-specific rendering network yet capable of translating arbitrary source audio into arbitrary video output. Instead of learning a highly heterogeneous and nonlinear mapping from audio to the video directly, we first factorize each target video frame into orthogonal parameter spaces, i.e., expression, geometry, and pose, via monocular 3D face reconstruction. Next, a recurrent network is introduced to translate source audio into expression parameters that are primarily related to the audio content. The audio-translated expression parameters are then used to synthesize a photo-realistic human subject in each video frame, with the movement of the mouth regions precisely mapped to the source audio. The geometry and pose parameters of the target human portrait are retained, therefore preserving the context of the original video footage. Finally, we introduce a novel video rendering network and a dynamic programming method to construct a temporally coherent and photo-realistic video. Extensive experiments demonstrate the superiority of our method over existing approaches. Our method is end-to-end learnable and robust to voice variations in the source audio.

研究动机与目标

• 激发并实现基于自回归的音频编辑肖像视频，覆盖任意源身份和目标身份。
• 将视频帧解耦为几何、姿态和表情，以促进鲁棒的音频到视频翻译。
• 开发一个音频身份去除网络，使音频到表情的翻译与身份无关。
• 提出一种神经视频渲染网络，用于在口部区域完成，受口部地标引导，以确保真实感和时序连贯性。

提出的方法

• 用单目3D人脸重建对每帧进行解析，以获得几何、表情和姿态（基于3DMM的参数）。
• 使用基于LSTM的音频到表情翻译网络，将说话人无关的音频特征映射到表情参数。
• 在翻译前引入音频身份去除网络，以从音频特征中移除说话人身份。
• 将口部区域生成建模为一个以口部地标和掩码帧为条件的人脸完成问题。
• 应用具有Unet样结构和地标热力图的神经视频渲染网络，在重建、对抗、感知以及时序损失下进行训练。

实验结果

研究问题

• RQ1 来自任意说话人的音频是否可以在无需逐人训练的情况下驱动任意目标身份的照片级真实感肖像视频？
• RQ2 将视频帧分解为几何、姿态和表情是否能提升跨说话人音频到视频的翻译？
• RQ3 身份无关的音频表示是否在多样化声音中提升嘴部同步和视觉真实感？

主要发现

• 提出的基于3D参数的错位对齐方法使单个生成器在多身份之间实现多对多音频到视频翻译成为可能。
• 音频身份去除网络提升嘴部同步并降低音频特征中的身份泄漏。
• 联合训练的基于完成的口部生成结合地标引导，在PSNR/SSIM上具竞争力，并在真实感方面优于基线。
• 该方法支持大姿态变化以及音频编辑/唱歌，展示对从未见过的说话者和语言的鲁棒泛化。
• 与现有方法相比，该方法在多种场景下提供更好的纹理细节和无缝背景融合。