[论文解读] Face Morphing Attack Detection Using Privacy-Aware Training Data

Marija Ivanovska, Andrej Kronovšek+3 more|arXiv (Cornell University)|Jul 2, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出仅使用通过StyleGAN2生成的虚构人物的合成人脸训练人脸融合攻击检测（MAD）模型，以解决真实人脸数据集中的隐私问题。在SMDD合成数据集上训练的Xception和HRNet模型展现出强大的泛化能力，其中Xception在FRLL-Morphs数据集上达到3.26%的EER，表明隐私友好的合成数据可在无需真实人类数据的情况下实现有效且实用的攻击检测。

ABSTRACT

Images of morphed faces pose a serious threat to face recognition--based security systems, as they can be used to illegally verify the identity of multiple people with a single morphed image. Modern detection algorithms learn to identify such morphing attacks using authentic images of real individuals. This approach raises various privacy concerns and limits the amount of publicly available training data. In this paper, we explore the efficacy of detection algorithms that are trained only on faces of non--existing people and their respective morphs. To this end, two dedicated algorithms are trained with synthetic data and then evaluated on three real-world datasets, i.e.: FRLL-Morphs, FERET-Morphs and FRGC-Morphs. Our results show that synthetic facial images can be successfully employed for the training process of the detection algorithms and generalize well to real-world scenarios.

研究动机与目标

• 解决依赖真实人类人脸图像的面部融合攻击检测（MAD）模型训练中产生的隐私问题。
• 探究仅使用虚构人物的合成人脸是否能够有效训练出鲁棒的MAD模型。
• 评估此类模型在多样化真实世界融合人脸数据集上的泛化性能。
• 证明隐私友好的训练数据可替代真实人类数据，同时不损失检测精度。

提出的方法

• 使用StyleGAN2从SMDD数据集中生成虚构人物的合成人脸图像。
• 通过OpenCV融合方法将成对的合成人脸组合生成人脸融合图像。
• 从头开始训练两种深度学习模型——Xception和HRNet，使用合成融合图像和真实人脸图像。
• 在Xception和HRNet提取特征后，使用两层全连接头进行二分类。
• 使用Adam优化器进行训练，基础初始学习率为0.0001，批量大小为16，共训练30个周期。
• 基于验证准确率进行模型选择，为每个数据集保存表现最佳的权重。

实验结果

研究问题

• RQ1 能否仅使用虚构人物的合成人脸有效训练人脸融合攻击检测模型？
• RQ2 与使用真实人类数据训练的模型相比，此类模型在真实世界融合人脸数据集上的泛化能力如何？
• RQ3 在有限合成数据上训练时，模型架构（如Xception与HRNet）对检测性能有何影响？
• RQ4 在仅使用一种融合技术（OpenCV）训练的模型，是否能泛化到其他方法（如AMSL、Webmorph）生成的融合图像？
• RQ5 隐私保护型合成数据是否能在避免真实人类人脸数据的同时实现具有竞争力的检测性能？

主要发现

• Xception在FRLL-Morphs数据集上表现最佳，等错误率（EER）为3.26%。
• HRNet在FERET-Morphs和FRGC-Morphs数据集上表现强劲，EER分别为8.49%和10.89%，但在FRLL-Morphs上表现较差，EER为13.73%。
• Xception模型在不同融合技术上的泛化能力最佳，ROC曲线分析结果表明其优势。
• 作为基线模型的MixFaceNet-MAD在FERET-Morphs和FRGC-Morphs上表现劣于Xception和HRNet，尽管在FRLL-Morphs上略优于HRNet。
• 尽管仅在一种融合方法（OpenCV）上进行训练，模型对其他融合技术仍表现出合理的泛化能力，尽管性能有所差异。
• 结果证实，仅使用合成数据即可训练出有效的MAD模型，支持采用隐私友好的训练数据以缓解伦理和法律问题。