[论文解读] CycleGAN Face-off

Xiaohan Jin, Qi Ye+1 more|arXiv (Cornell University)|Dec 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 14

一句话总结

本文提出对CycleGAN的改进，以仅使用未对齐的视频帧，在两人之间实现无监督的面部表情与属性迁移。通过增强对抗性训练以更好地捕捉面部细节、头部姿态变化及时间一致性，该方法在无需成对数据的情况下，实现了更稳定、更逼真的面部转换视频。

ABSTRACT

Face-off is an interesting case of style transfer where the facial expressions and attributes of one person could be fully transformed to another face. We are interested in the unsupervised training process which only requires two sequences of unaligned video frames from each person and learns what shared attributes to extract automatically. In this project, we explored various improvements for adversarial training (i.e. CycleGAN[Zhu et al., 2017]) to capture details in facial expressions and head poses and thus generate transformation videos of higher consistency and stability.

研究动机与目标

• 解决在无成对训练数据的情况下，两人之间无监督面部风格迁移的挑战。
• 改进CycleGAN中的对抗性训练，以更好地捕捉细微的面部表情与头部姿态变化。
• 从未对齐的视频序列中生成时间上一致且稳定的面部转换视频。
• 自动学习共享的面部属性与身份保持特征，无需显式监督。

提出的方法

• 通过修改生成器与判别器架构，将CycleGAN的对抗性框架适配至面部特定特征，以更好地建模面部细节。
• 引入带空间注意力的增强循环一致性损失，以在翻译过程中保持身份与面部结构。
• 通过帧级一致性正则化实现时间建模，以提升视频的平滑度与运动连贯性。
• 利用来自两人的未配对视频序列作为输入，避免对同步或对齐帧的需求。
• 利用身份保持损失以维持主体特异性特征（如面部轮廓与肤色）在翻译过程中的稳定性。
• 采用带有实例归一化与残差块的对抗性训练，以稳定训练过程并提升生成质量。

实验结果

研究问题

• RQ1 CycleGAN能否有效适配以从未对齐的视频序列中生成高保真、时间一致的面部转换视频？
• RQ2 架构与损失函数的修改在无监督设置下如何提升面部表情与头部姿态的迁移效果？
• RQ3 所提方法在跨人面部转换过程中，对身份与面部结构的保持程度如何？
• RQ4 时间一致性正则化在提升视频稳定性和视觉质量方面起到何种作用？

主要发现

• 与标准CycleGAN相比，所提方法在保留面部细节与头部姿态变化方面，实现了更逼真、更稳定的面部转换视频。
• 时间一致性正则化显著减少了生成视频序列中的闪烁与运动伪影。
• 该模型成功实现了在无需成对训练数据的情况下，人物之间的面部表情与属性迁移。
• 身份保持损失有助于在翻译过程中维持面部轮廓与肤色等主体特异性特征。