[论文解读] Face Translation between Images and Videos using Identity-aware CycleGAN

Zhiwu Huang, Bernhard Kratzwald+3 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 8

一句话总结

本文提出了一种身份感知的CycleGAN框架，用于在图像与视频之间进行未配对的面部转换，通过结合基于FaceNet的身份验证器与Wasserstein GAN（WGAN-GP）来保持面部身份。该模型在图像到视频以及视频到图像的转换任务中，均实现了视觉质量和身份保持方面的最先进性能。

ABSTRACT

This paper presents a new problem of unpaired face translation between images and videos, which can be applied to facial video prediction and enhancement. In this problem there exist two major technical challenges: 1) designing a robust translation model between static images and dynamic videos, and 2) preserving facial identity during image-video translation. To address such two problems, we generalize the state-of-the-art image-to-image translation network (Cycle-Consistent Adversarial Networks) to the image-to-video/video-to-image translation context by exploiting a image-video translation model and an identity preservation model. In particular, we apply the state-of-the-art Wasserstein GAN technique to the setting of image-video translation for better convergence, and we meanwhile introduce a face verificator to ensure the identity. Experiments on standard image/video face datasets demonstrate the effectiveness of the proposed model in both terms of qualitative and quantitative evaluations.

研究动机与目标

• 解决静态图像与动态视频之间未配对面部转换研究的不足。
• 克服二维图像与三维视频序列之间高度异质性的挑战。
• 在存在域偏移和有限配对数据的情况下，实现双向转换中的面部身份保持。
• 开发一个统一的生成对抗网络框架，支持图像到视频和视频到图像的双向转换。

提出的方法

• 通过引入独立的图像到视频与视频到图像转换子网络，将CycleGAN适配于图像-视频转换任务。
• 采用带梯度惩罚的Wasserstein GAN（WGAN-GP）以实现稳定训练并提升收敛性。
• 集成预训练的FaceNet作为面部验证器，通过深度嵌入上的身份损失来强制实现身份保持。
• 设计一种结合图像与视频重建的循环一致性损失，以确保结构保真度。
• 使用包含对抗损失、循环一致性损失与身份保持项的复合损失联合训练完整模型。
• 在训练过程中冻结FaceNet参数，以稳定身份监督，同时允许梯度通过生成器反向传播。

实验结果

研究问题

• RQ1 基于GAN的模型能否在未配对的图像与视频之间有效转换面部，同时保持身份？
• RQ2 集成面部验证网络在图像-视频转换中如何提升身份一致性？
• RQ3 在这一异质性转换设置中，使用WGAN-GP相较于标准GAN有何影响？
• RQ4 对抗损失、循环一致性损失与身份损失等不同损失组件如何在视觉质量与身份保持之间实现平衡？
• RQ5 该模型在非正面或快速运动面部上的泛化能力如何？

主要发现

• Model3（结合对抗损失、循环一致性损失与身份保持损失）的FaceNet验证分数最低，表明其身份保持能力最优。
• 身份分数曲线在50,000次训练迭代中持续下降，证实了身份学习的有效性与稳定性。
• 视觉结果表明，Model3在遮挡的嘴巴或非正面视角等挑战性情况下，身份保持优于基线模型。
• 该模型能够从静态图像成功生成逼真的面部序列，并能从低质量视频中重建出高质量图像。
• 失败案例主要出现在非正面或快速运动的面部，表明模型在姿态与运动鲁棒性方面仍存在局限。
• 定量结果证实，即使视觉质量略有下降，基于FaceNet的损失仍显著提升了身份保持性能。