[论文解读] Generation of Non-Deterministic Synthetic Face Datasets Guided by Identity Priors

Marcel Grimmer, Haoyu Zhang+3 more|arXiv (Cornell University)|Dec 7, 2021

Face recognition and analysis被引用 4

一句话总结

本文提出一种基于主成分分析（PCA）引导潜在空间操作的非确定性方法，用于在StyleGAN中生成合成配对人脸图像，并通过预训练的人脸识别系统实现动态身份保持。该方法构建了SymFace数据集（77,034张图像，25,919个身份），表明合成配对样本可产生与真实生物特征数据相当的、良好分离的真实与伪造分数分布，使其在避免隐私和偏见问题的前提下，成为生物特征性能测试的可行选择。

ABSTRACT

Enabling highly secure applications (such as border crossing) with face recognition requires extensive biometric performance tests through large scale data. However, using real face images raises concerns about privacy as the laws do not allow the images to be used for other purposes than originally intended. Using representative and subsets of face data can also lead to unwanted demographic biases and cause an imbalance in datasets. One possible solution to overcome these issues is to replace real face images with synthetically generated samples. While generating synthetic images has benefited from recent advancements in computer vision, generating multiple samples of the same synthetic identity resembling real-world variations is still unaddressed, i.e., mated samples. This work proposes a non-deterministic method for generating mated face images by exploiting the well-structured latent space of StyleGAN. Mated samples are generated by manipulating latent vectors, and more precisely, we exploit Principal Component Analysis (PCA) to define semantically meaningful directions in the latent space and control the similarity between the original and the mated samples using a pre-trained face recognition system. We create a new dataset of synthetic face images (SymFace) consisting of 77,034 samples including 25,919 synthetic IDs. Through our analysis using well-established face image quality metrics, we demonstrate the differences in the biometric quality of synthetic samples mimicking characteristics of real biometric data. The analysis and results thereof indicate the use of synthetic samples created using the proposed approach as a viable alternative to replacing real biometric data.

研究动机与目标

• 解决用于人脸识别测试的真实生物特征数据集中存在的隐私和人口统计偏差问题。
• 生成能够复现真实世界生物特征数据中身份内差异（如姿态、表情和光照变化）的合成人脸图像。
• 在潜在空间中非确定性采样过程中，确保身份的保持。
• 构建一个大规模、符合隐私合规要求的合成数据集，适用于生物特征性能评估。

提出的方法

• 利用预训练的StyleGAN生成器生成基础合成人脸图像，其表示为512维潜在向量。
• 对50,000张生成图像的潜在空间进行主成分分析（PCA），以识别具有语义意义的编辑方向。
• 通过沿前几位主成分方向扰动潜在向量，生成配对样本，引入面部属性的现实变化。
• 采用预训练的人脸识别模型（FR）动态监控并控制原始图像与编辑后图像之间的相似性，以保持身份。
• 使用反馈回路，由FR系统评估原始图像与生成图像之间的余弦相似度，以指导扰动幅度。
• 构建SymFace数据集，包含77,034张图像，涵盖25,919个合成身份，包含偏航角、光照和微笑等变化。

实验结果

研究问题

• RQ1 能否在StyleGAN的潜在空间操作中，通过非确定性采样实现配对人脸图像的生成，同时保持身份保真度？
• RQ2 潜在空间中由PCA导出的方向在多大程度上能产生语义上合理的面部变化，类似真实生物特征数据？
• RQ3 合成配对样本的生物特征比对分数分布与真实真实身份数据集（如FRGC v2.0）相比如何？
• RQ4 合成配对样本能否生成良好分离的真实与伪造分数分布，适用于性能测试？
• RQ5 合成图像的面部质量度量指标与真实世界基准相比如何？

主要发现

• PCA-FR引导采样方法生成的配对比较分数分布与非配对分数分布明显分离，核密度曲线中可见清晰区分。
• 所提方法的配对分数分布与FRGC v2.0之间的Kullback-Leibler散度为0.42，表明真实分数模式具有中等但可接受的相似性。
• 在微笑编辑样本上，合成数据集与FRGC v2.0的KL散度为0.17，表明该属性在类内变化上具有强一致性。
• 面部质量评估指标（SER-FIQ和FaceQnet v1）显示，合成图像的质量分布与真实数据相当，SER-FIQ得分为1.17（PCA-FR）和1.19（光照编辑）。
• 所有合成数据集的非配对比较分数分布均远低于FMR=0.1%阈值，表明误匹配风险极低，且几乎未生成外观相似的“替身”图像。
• 姿态（yaw）编辑导致所有属性中配对比较分数跨度最广，表明姿态相关编辑具有更高的可变性。