[论文解读] Generate Identity-Preserving Faces by Generative Adversarial Networks

Zhigang Li, Yupin Luo|arXiv (Cornell University)|Jun 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 8

一句话总结

该论文提出了一种基于GAN的框架，通过将训练好的人脸生成器与FaceNet作为身份相似性判别器相结合，生成高质量、身份一致的人脸图像。该方法利用贪心搜索和向量运算生成多样化的面部属性，同时保持身份一致性，在身份相似性方面达到最先进性能，平均FaceNet距离得分为0.64和0.60，优于真实同人对的相似度。

ABSTRACT

Generating identity-preserving faces aims to generate various face images keeping the same identity given a target face image. Although considerable generative models have been developed in recent years, it is still challenging to simultaneously acquire high quality of facial images and preserve the identity. Here we propose a compelling method using generative adversarial networks (GAN). Concretely, we leverage the generator of trained GAN to generate plausible faces and FaceNet as an identity-similarity discriminator to ensure the identity. Experimental results show that our method is qualified to generate both plausible and identity-preserving faces with high quality. In addition, our method provides a universal framework which can be realized in various ways by combining different face generators and identity-similarity discriminator.

研究动机与目标

• 解决在生成高质量人脸图像的同时保持目标人物身份的挑战。
• 克服VAE（输出模糊）和标准GAN（身份丢失）在身份保持人脸生成中的局限性。
• 开发一种可泛化的框架，可将任意人脸生成器与任意身份相似性判别器结合使用。
• 实现在保持身份一致性的同时生成多样的面部属性（例如表情、眼镜、姿态）

提出的方法

• 利用预训练DCGAN的生成器生成高保真度的人脸图像。
• 采用FaceNet作为判别性身份相似性度量，确保生成的人脸与目标身份一致。
• 在潜在向量空间中应用贪心搜索策略，寻找能最大化与目标图像身份相似度的最优输入。
• 在最优潜在向量基础上，利用潜在空间中的向量运算生成多样化的面部属性（例如张嘴/闭嘴、戴眼镜、姿态变化）。
• 引入两阶段优化过程：首先使用固定步长进行初始搜索，随后采用自适应学习率进行微调。
• 通过允许不同人脸生成器与身份相似性度量的互换使用，实现框架的通用化。

实验结果

研究问题

• RQ1 基于GAN的生成器能否在保持目标人物身份的同时生成高质量的人脸图像？
• RQ2 在图像生成过程中，如何在不依赖身份特异性损失函数的情况下有效强制实现身份相似性？
• RQ3 潜在空间中的向量运算能否在保持身份一致性的同时生成多样化的面部属性？
• RQ4 所提出的框架是否可在不同人脸生成器和身份相似性度量之间实现泛化？

主要发现

• 该方法生成了高质量、身份一致的人脸图像，模糊程度极低，优于基于VAE的方法。
• 在两次实验中，生成人脸与目标图像之间的平均FaceNet距离分别为0.64和0.60，表明身份保持能力极强。
• 生成人脸的身份相似度与真实同人对相当，后者平均距离为0.74。
• 该框架具有可泛化性，可适配不同的生成器和身份相似性度量。
• 在潜在向量空间中的贪心搜索成功识别出能生成身份相似人脸的输入。