[论文解读] Attribute-Guided Face Generation Using Conditional CycleGAN

Yongyi Lu, Yu‐Wing Tai+1 more|arXiv (Cornell University)|May 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 22

一句话总结

本文提出了一种条件式CycleGAN，用于属性与身份引导的人脸生成，能够在无配对训练数据的情况下，从低分辨率输入生成高分辨率人脸图像，并支持用户指定的属性（如性别、发色）或身份特征。通过整合条件向量与人脸验证网络，该模型在超分辨率、人脸交换和正面化任务中实现了逼真且身份保持的结果。

ABSTRACT

We are interested in attribute-guided face generation: given a low-res face input image, an attribute vector that can be extracted from a high-res image (attribute image), our new method generates a high-res face image for the low-res input that satisfies the given attributes. To address this problem, we condition the CycleGAN and propose conditional CycleGAN, which is designed to 1) handle unpaired training data because the training low/high-res and high-res attribute images may not necessarily align with each other, and to 2) allow easy control of the appearance of the generated face via the input attributes. We demonstrate impressive results on the attribute-guided conditional CycleGAN, which can synthesize realistic face images with appearance easily controlled by user-supplied attributes (e.g., gender, makeup, hair color, eyeglasses). Using the attribute image as identity to produce the corresponding conditional vector and by incorporating a face verification network, the attribute-guided network becomes the identity-guided conditional CycleGAN which produces impressive and interesting results on identity transfer. We demonstrate three applications on identity-guided conditional CycleGAN: identity-preserving face superresolution, face swapping, and frontal face generation, which consistently show the advantage of our new method.

研究动机与目标

• 利用无配对训练数据，实现从低分辨率输入生成高质量、属性可控的人脸图像。
• 在无配对数据的前提下，解决人脸超分辨率与人脸交换中的身份保持问题。
• 开发一种支持用户提供的属性或身份嵌入向量的条件式CycleGAN框架，实现灵活控制。
• 在姿态变化和部分遮挡条件下，验证身份迁移任务中的鲁棒性能。
• 实现从侧视图输入端到端、无需干预的正面人脸生成。

提出的方法

• 修改CycleGAN中的对抗损失，将条件特征向量作为输入引入生成器与判别器网络。
• 使用预训练的Light-CNN网络提取身份特征向量，作为身份引导生成中的条件输入。
• 引入人脸验证网络作为辅助判别器，以在训练过程中强制保持身份一致性。
• 利用循环一致性损失学习域之间的双射映射，而无需配对的训练样本。
• 将模型应用于三项任务：身份保持的超分辨率、人脸交换与正面人脸生成。
• 采用条件向量的线性插值，生成面部属性或身份之间的平滑过渡。

实验结果

研究问题

• RQ1 条件式CycleGAN框架能否在保持低分辨率输入身份的前提下，实现精确属性控制的高分辨率人脸图像生成？
• RQ2 该模型在不同姿态和部分遮挡条件下，能否有效实现面部身份的迁移？
• RQ3 在辅助判别器中引入人脸验证损失，是否能提升人脸交换结果的逼真度与身份保真度？
• RQ4 该模型能否以端到端方式，从非正面、低分辨率输入生成逼真正面人脸？
• RQ5 通过条件向量插值，该模型在未见过的属性或身份组合上，泛化能力如何？

主要发现

• 在身份保持的超分辨率任务中，模型实现了逼真的人脸生成，即使低分辨率输入来自不同人，结果仍能保持原始身份特征。
• 人脸交换结果表现出高度真实感，且能准确转移眼睛、眉毛、头发等面部特征，无需手动关键点检测或图像融合。
• 在辅助判别器中引入人脸验证损失，显著提升了结果的感知质量，尤其在细化眉毛与眼型等细微特征方面表现更优。
• 条件向量的线性插值可生成视觉上合理且平滑的属性或身份过渡，表明模型具备超越记忆的泛化能力。
• 实现了从侧视图输入端到端、无需人工干预的正面人脸生成，性能优于依赖图像扭曲与融合的传统方法。
• 模型在姿态变化与部分遮挡条件下表现稳健，证明其在复杂场景下仍具备强大的身份保持能力。