[论文解读] Deep Video Portraits

Hyeongwoo Kim, Pablo Garrido+8 more|MPG.PuRe (Max Planck Society)|May 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 4

一句话总结

本文提出 Deep Video Portraits，一种具有时空架构的生成神经网络，通过将源演员的完整3D头部运动、表情、视线方向和眨眼动作转移到目标对象，实现肖像视频的逼真重演。该方法在参数化人脸模型的合成渲染图像上采用对抗性训练，生成逼真的视频帧，无需显式建模头发、身体或背景，即可实现高保真度的重演。

ABSTRACT

We present a novel approach that enables photo-realistic re-animation of portrait videos using only an input video. In contrast to existing approaches that are restricted to manipulations of facial expressions only, we are the first to transfer the full 3D head position, head rotation, face expression, eye gaze, and eye blinking from a source actor to a portrait video of a target actor. The core of our approach is a generative neural network with a novel space-time architecture. The network takes as input synthetic renderings of a parametric face model, based on which it predicts photo-realistic video frames for a given target actor. The realism in this rendering-to-video transfer is achieved by careful adversarial training, and as a result, we can create modified target videos that mimic the behavior of the synthetically-created input. In order to enable source-to-target video re-animation, we render a synthetic target video with the reconstructed head animation parameters from a source video, and feed it into the trained network -- thus taking full control of the target. With the ability to freely recombine source and target parameters, we are able to demonstrate a large variety of video rewrite applications without explicitly modeling hair, body or background. For instance, we can reenact the full head using interactive user-controlled editing, and realize high-fidelity visual dubbing. To demonstrate the high quality of our output, we conduct an extensive series of experiments and evaluations, where for instance a user study shows that our video edits are hard to detect.

研究动机与目标

• 实现肖像视频中完整3D头部重演，包括头部位置、旋转、表情、视线方向和眨眼，而不仅限于面部表情。
• 在不显式建模头发、身体或背景的前提下，实现逼真视频生成。
• 通过端到端学习，实现交互式、用户可控的视频重演和高保真度配音。
• 开发一种方法，将源视频的运动参数转移到目标视频，同时保持身份一致性和真实感。

提出的方法

• 使用一种新颖的时空生成神经网络架构，从参数化人脸模型的合成渲染图像中预测逼真视频帧。
• 基于从源视频中重建的头部动画参数生成合成渲染图像，实现从源到目标的重演。
• 采用对抗性训练以增强视频生成过程的逼真度，确保高视觉保真度。
• 在网络训练中使用具有受控运动参数的合成输入视频，从而精确控制目标视频输出。
• 该方法将身份（目标）与运动（源）解耦，允许在不重新训练的情况下灵活重组参数。
• 通过操纵源运动参数并将其输入已训练网络，支持用户控制的编辑。

实验结果

研究问题

• RQ1 深度生成模型能否从源视频到目标视频成功转移完整的3D头部运动（包括旋转、视线方向和眨眼），并实现逼真效果？
• RQ2 在不显式建模背景或身体的前提下，对合成渲染图像进行对抗性训练，在多大程度上能实现视频生成的高 realism？
• RQ3 该方法在实现交互式、用户可控的视频重演和视觉配音方面有多高效？
• RQ4 在感知评估中，生成的视频是否能被可靠地区分于真实视频？

主要发现

• 该方法成功地将完整的3D头部运动（包括头部旋转、视线方向和眨眼）从源视频转移到目标视频，且具有高视觉保真度。
• 用户研究表明，生成的视频编辑难以被察觉，表明其具有极强的感知真实感。
• 该方法实现了无需显式建模头发、身体或背景的高保真视觉配音和交互式重演。
• 在合成渲染图像上进行对抗性训练显著提升了生成视频帧的真实感。
• 通过重组源和目标输入的参数，系统实现了对目标视频行为的完全控制。