[论文解读] Towards Open-Set Identity Preserving Face Synthesis

Jianmin Bao, Dong Chen+3 more|arXiv (Cornell University)|Mar 29, 2018

Face recognition and analysis参考文献 37被引用 33

一句话总结

本文提出了一种基于生成对抗网络（GAN）的开放集身份保持人脸合成框架，通过从输入人脸图像中解耦身份与属性，实现仅结合目标主体的身份向量与另一张图像的属性，即可合成具有未见身份的真实人脸。该方法在无需属性标注的情况下实现身份保持，并利用无标签数据提升生成质量，成功应用于人脸正脸化、属性变形以及对抗样本检测。

ABSTRACT

We propose a framework based on Generative Adversarial Networks to disentangle the identity and attributes of faces, such that we can conveniently recombine different identities and attributes for identity preserving face synthesis in open domains. Previous identity preserving face synthesis processes are largely confined to synthesizing faces with known identities that are already in the training dataset. To synthesize a face with identity outside the training dataset, our framework requires one input image of that subject to produce an identity vector, and any other input face image to extract an attribute vector capturing, e.g., pose, emotion, illumination, and even the background. We then recombine the identity vector and the attribute vector to synthesize a new face of the subject with the extracted attribute. Our proposed framework does not need to annotate the attributes of faces in any way. It is trained with an asymmetric loss function to better preserve the identity and stabilize the training process. It can also effectively leverage large amounts of unlabeled training face images to further improve the fidelity of the synthesized faces for subjects that are not presented in the labeled training face dataset. Our experiments demonstrate the efficacy of the proposed framework. We also present its usage in a much broader set of applications including face frontalization, face attribute morphing, and face adversarial example detection.

研究动机与目标

• 为训练数据集中未包含的主体实现身份保持的人脸合成，克服先前方法的闭集限制。
• 仅从单张人脸图像中解耦身份与属性，而无需属性标注。
• 通过非对称损失函数和属性向量的KL正则化，稳定训练过程并保持身份保真度。
• 利用大量无标签人脸图像提升未见身份的生成质量和多样性。
• 将框架扩展至更广泛的应用，如人脸正脸化、属性变形和对抗样本检测。

提出的方法

• 该框架采用包含五个组件的GAN：身份编码器 I、属性编码器 E、生成器 G、分类器 C 和判别器 D，实现端到端训练。
• 通过属性图像的重建损失和属性向量的KL散度损失实现属性提取，防止身份信息泄露。
• 通过身份编码器 I 上的Softmax损失学习身份表征，确保身份不变的特征编码。
• 应用非对称损失函数：判别器 D 和分类器 C 使用交叉熵损失，生成器 G 使用成对特征匹配损失，以稳定训练并保持身份一致性。
• 利用无标签人脸图像增强训练数据，增加类内与类间差异，提升合成人脸的泛化能力与多样性。
• 该框架支持从两张输入图像中重新组合身份与属性向量，生成具有目标属性但保持主体身份的新人脸图像。

实验结果

研究问题

• RQ1 基于GAN的框架能否在无需属性标注的情况下，从单张人脸图像中解耦身份与属性？
• RQ2 该框架能否仅使用目标主体的一张参考图像，合成训练集中未见身份的真实人脸图像？
• RQ3 与对称替代方案相比，使用非对称损失函数是否能提升身份保持效果与训练稳定性？
• RQ4 无标签人脸数据能否提升未见身份人脸的生成保真度与多样性？
• RQ5 解耦表示能否在下游任务（如人脸正脸化、属性变形和对抗样本检测）中有效重用？

主要发现

• 当特征距离阈值设为0.4时，该框架在人脸验证系统中对抗样本检测的准确率达到92.41%。
• 属性变形结果表明，通过属性向量的线性插值，姿态、情绪和光照等属性实现了平滑且真实自然的过渡。
• 该模型成功实现人脸正脸化，能够从侧脸或非正面图像生成高保真度的正面视图。
• 使用无标签数据可增加类内与类间差异，从而提升生成人脸的多样性与真实性，尤其对未见身份表现更优。
• 该框架实现了开放集身份的保持合成，新增身份时无需重新训练或微调。
• 基于重建的对抗样本检测方法结合LBP特征与线性SVM，无需在对抗样本上额外训练即可实现高准确率。