[论文解读] Evolutionary latent space search for driving human portrait generation

Benjamín Machín, Sergio Nesmachnow+1 more|arXiv (Cornell University)|Apr 25, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出一种进化算法，用于在StyleGAN2的潜在空间中搜索，以生成与目标人脸图像高度相似的合成人脸肖像。通过利用FaceNet进行相似性评估，并通过进化搜索优化潜在向量，该方法生成了多样化且逼真的面孔，能够欺骗人脸识别系统，与真实同人图像相比，FaceNet嵌入距离最高降低27.9%。

ABSTRACT

This article presents an evolutionary approach for synthetic human portraits generation based on the latent space exploration of a generative adversarial network. The idea is to produce different human face images very similar to a given target portrait. The approach applies StyleGAN2 for portrait generation and FaceNet for face similarity evaluation. The evolutionary search is based on exploring the real-coded latent space of StyleGAN2. The main results over both synthetic and real images indicate that the proposed approach generates accurate and diverse solutions, which represent realistic human portraits. The proposed research can contribute to improving the security of face recognition systems.

研究动机与目标

• 开发一种高效方法，用于生成在视觉和语义上与给定目标人脸高度相似的合成人脸肖像。
• 利用进化算法探索StyleGAN2的高维潜在空间，以寻找能生成所需面部属性的潜在向量。
• 通过最小化生成图像与目标人脸之间的FaceNet嵌入距离，评估该方法欺骗预训练人脸识别系统的能力。
• 评估在多个目标图像和不同条件下，生成肖像的多样性和质量。
• 分析所提方法的计算成本及其可扩展性。

提出的方法

• 使用进化算法（EA）搜索预训练StyleGAN2生成器的实数编码潜在空间，以生成人脸图像。
• 采用FaceNet作为适应度函数，通过计算深度特征嵌入之间的L2距离，评估生成图像与目标肖像之间的相似性。
• EA通过选择、交叉和变异操作，将潜在向量进化以最小化与目标嵌入的L2距离。
• 该方法包含多种优化措施，如预计算目标嵌入，以及使用高效的评估流水线，以减少计算开销。
• 搜索在高维潜在空间（例如512维）中进行，通过种群化探索确保多样性。
• 该方法利用预训练模型（StyleGAN2和FaceNet），避免了昂贵的微调训练，从而实现在极低计算成本下快速生成。

实验结果

研究问题

• RQ1 进化算法能否有效探索StyleGAN2的潜在空间，以生成在视觉和语义上与目标人脸高度相似的合成人脸肖像？
• RQ2 生成的肖像在多大程度上能欺骗预训练的人脸识别模型（如FaceNet），其衡量标准是嵌入相似性？
• RQ3 在多次运行和不同目标图像下，生成的肖像多样性如何？该方法是否能保持解的多样性？
• RQ4 该方法的计算成本是多少？其在不同目标图像和硬件配置下的可扩展性如何？
• RQ5 该方法能否为同一目标人物生成多个不同但准确的肖像，从而同时体现保真度与多样性？

主要发现

• 所提方法成功生成了在视觉上与目标人脸相似的合成人脸肖像，与同一人另一张真实图像相比，FaceNet嵌入之间的L2距离最高降低27.9%。
• 在所有测试实例（G2、W2、W3）中，生成图像与目标图像的L2距离均小于基线（同一人的另一张真实图像），证实了该方法欺骗人脸识别系统的能力。
• 该方法实现了高水平的解多样性，10个生成解之间嵌入的成对L2距离范围为0.314至0.865，表明输出既多样化又有效。
• 各实例的平均多样性分别为：G2为0.491 ± 0.060，W2为0.645 ± 0.099，W3为0.544 ± 0.070，表明在生成多样化肖像方面具有稳定的鲁棒性。
• 该方法在Google Colab上计算时间少于15分钟，由于使用了预训练模型和高效的评估流水线，计算成本极低。
• 结果证实，对StyleGAN2潜在空间进行进化搜索，可有效生成逼真、多样且与目标相似的人脸肖像，适用于对抗性目的。