[论文解读] FaceFeat-GAN: a Two-Stage Approach for Identity-Preserving Face Synthesis

Yujun Shen, Bolei Zhou+2 more|arXiv (Cornell University)|Dec 4, 2018

Face recognition and analysis参考文献 37被引用 29

一句话总结

FaceFeat-GAN 提出了一种两阶段 GAN 框架，用于身份保持的面部合成，首先在特征空间中生成多样的面部特征，然后从这些特征中渲染出高保真图像。通过引入双层次对抗竞争——在特征域和图像域中分别在生成器与判别器之间进行竞争——该方法在身份保持、图像质量和多样性方面均达到了最先进性能，在 LFW 等基准测试中表现优于先前方法，用户研究得分为 22.4%，相似度得分为 0.693。

ABSTRACT

The advance of Generative Adversarial Networks (GANs) enables realistic face image synthesis. However, synthesizing face images that preserve facial identity as well as have high diversity within each identity remains challenging. To address this problem, we present FaceFeat-GAN, a novel generative model that improves both image quality and diversity by using two stages. Unlike existing single-stage models that map random noise to image directly, our two-stage synthesis includes the first stage of diverse feature generation and the second stage of feature-to-image rendering. The competitions between generators and discriminators are carefully designed in both stages with different objective functions. Specially, in the first stage, they compete in the feature domain to synthesize various facial features rather than images. In the second stage, they compete in the image domain to render photo-realistic images that contain high diversity but preserve identity. Extensive experiments show that FaceFeat-GAN generates images that not only retain identity information but also have high diversity and quality, significantly outperforming previous methods.

研究动机与目标

• 为解决在身份保持面部合成中平衡高图像质量和高多样性的问题。
• 克服单阶段 GAN 在施加身份约束时难以保持多样性的局限。
• 改进基于像素级监督的方法，后者通过强制一对一映射限制了多样性。
• 探索将中间特征空间作为解耦表示以控制身份和属性变化的可能性。
• 设计一种双层次对抗训练方案，使竞争同时发生在特征域和图像域，以提升真实感和多样性。

提出的方法

• 该模型采用两阶段架构：首先，多个特征生成器（{G_i^f}）从随机噪声中合成多样的面部特征（如姿态、表情、年龄）。
• 其次，图像生成器（G^I）将组合后的特征表示映射为照片级真实感的面部图像，并使用像素级监督以确保保真度。
• 采用双判别器：D_i^f 在特征域中与每个 G_i^f 竞争，以确保特征表示的真实性；D^I 在图像域中与 G^I 竞争，以提升图像的真实感。
• 该框架包含四个损失组件：身份损失（φ_id）、特征级对抗损失（φ^f）、图像级对抗损失（φ^I）和重建损失（φ_rec）。
• 通过在特征域中进行 GAN 竞争来增强特征多样性，避免模式崩溃。
• 该模型使用基于 3DMM 的参数化表示，以解耦身份与属性因素，从而实现对多样化面部属性的可控生成。

实验结果

研究问题

• RQ1 与单阶段 GAN 相比，两阶段生成框架是否能同时提升身份保持面部合成中的图像质量和多样性？
• RQ2 在图像生成之前于特征域中引入竞争，是否能提升多样性同时保持身份一致性？
• RQ3 在第二阶段是否能有效应用像素级监督而不损害第一阶段的多样性？
• RQ4 与单层次训练相比，双层次对抗训练（在特征域和图像域中）在身份保留和真实感方面表现如何？
• RQ5 解耦的特征表示在多大程度上能够实现对合成面部中可控且多样的属性变化？

主要发现

• FaceFeat-GAN 在身份保持面部合成任务中获得 22.4% 的用户研究得分，显著优于先前方法，如 FaceID-GAN（18.0%）和 PIM（19.2%）。
• 该模型在 LFW 数据集上取得 0.693 的相似度得分，超过 DR-GAN（0.548）、FF-GAN（0.592）和 TP-GAN（0.625），表明其身份保持能力更优。
• 多样性得分为 0.63，接近真实特征分布（均值为零，方差为一），证实模型在无模式崩溃的情况下生成了高度多样的特征。
• 消融实验表明，若移除身份损失（φ_id），相似度降至 0.246，证明其对身份保持至关重要。
• 若移除特征级对抗损失（φ^f），多样性得分仅为 0.05，表明特征空间中的竞争对多样性至关重要。
• 完整模型在重建评估中获得 33.2% 的用户研究得分，证实其图像质量极高；而缺少图像级 GAN 或重建损失的模型则出现显著质量下降。