[论文解读] Vulnerability Analysis of Face Morphing Attacks from Landmarks and Generative Adversarial Networks

Eklavya Sarkar, Pavel Korshunov+2 more|arXiv (Cornell University)|Dec 9, 2020

Face recognition and analysis被引用 33

一句话总结

该论文使用基于特征点的工具和 StyleGAN2 生成公开的形态合成数据集，然后评估最先进的人脸识别系统（FaceNet、ArcFace、VGG-Face）对这些形态的脆弱性，发现基于 GAN 的形态尚未构成高威胁，而更准确的 FR 往往更易受影响。

ABSTRACT

Morphing attacks is a threat to biometric systems where the biometric reference in an identity document can be altered. This form of attack presents an important issue in applications relying on identity documents such as border security or access control. Research in face morphing attack detection is developing rapidly, however very few datasets with several forms of attacks are publicly available. This paper bridges this gap by providing a new dataset with four different types of morphing attacks, based on OpenCV, FaceMorpher, WebMorph and a generative adversarial network (StyleGAN), generated with original face images from three public face datasets. We also conduct extensive experiments to assess the vulnerability of the state-of-the-art face recognition systems, notably FaceNet, VGG-Face, and ArcFace. The experiments demonstrate that VGG-Face, while being less accurate face recognition system compared to FaceNet, is also less vulnerable to morphing attacks. Also, we observed that na\\"ive morphs generated with a StyleGAN do not pose a significant threat.

研究动机与目标

• 通过提供来自 OpenCV、FaceMorpher、WebMorph 和 StyleGAN2 的多样化混合数据，填补公开可用的形态攻击数据的空缺。
• 评估当前最先进的人脸识别系统在各种形态攻击下的表现。
• 在多个公开人脸数据集上，将基点特征点（landmark-based）形态与 GAN-based 形态进行比较。

提出的方法

• 使用四种工具（OpenCV、FaceMorpher、WebMorph、StyleGAN2）对来自 FERET、FRGCv2 和 FRLL 数据集的真实人脸生成混合图像。
• 在 AMSL Face Morph Image 数据集上增加额外的形态。
• 使用嵌入向量的余弦相似度评估预训练 FR 系统（FaceNet、ArcFace、VGG-Face）的脆弱性。
• 与经典基线（Gabor jet、ISV）进行鲁棒性分析的对比。
• 提供开源代码和脚本，以复现形态生成和脆弱性评估。

实验结果

研究问题

• RQ1 不同的形态技术（基于关键点 vs 基于 GAN）如何影响现今人脸识别系统的脆弱性？
• RQ2 更高精度的 FR 系统在跨数据集的形态攻击中是更易受攻击还是更不易受攻击？
• RQ3 GAN 基的形态，特别是 StyleGAN2，在与传统形态工具相比时是否构成显著威胁？
• RQ4 哪些公开资源和管道对于评估形态攻击的脆弱性和复现结果最有效？

主要发现

• 使用 StyleGAN2 生成的 GAN 基形态目前对最先进的 FR 系统并未构成显著威胁。
• 更准确的面部识别系统（如 FaceNet）在形态攻击中可能比不那么准确的系统（如 VGG-Face）更易受影响。
• 基于关键点的形态引入明显伪影，这些伪影对 FR 脆弱性的影响与 GAN 基形态不同。
• 公开数据集和开源管线使在多个数据集（FERET、FRGCv2、FRLL）上进行形态攻击脆弱性评估的可复现性成为可能。
• 尽管 StyleGAN2 的形态看起来很真实，保持身份的身份损失可能在未来增加威胁潜力。