[论文解读] MIPGAN -- Generating Strong and High Quality Morphing Attacks Using Identity Prior Driven GAN

Haoyu Zhang, Sushma Venkatesh+4 more|arXiv (Cornell University)|Sep 3, 2020

Face recognition and analysis被引用 9

一句话总结

本文提出MIPGAN，一种基于生成对抗网络（GAN）的新框架，通过引入身份先验驱动的损失函数，生成高质量、身份保持的面部融合攻击图像，显著提升感知真实感与攻击强度。该方法在绕过商用及基于深度学习的面部识别系统方面表现出极高的成功率，揭示了当前生物特征安全协议面临的重大威胁。

ABSTRACT

Face morphing attacks target to circumvent Face Recognition Systems (FRS) by employing face images derived from multiple data subjects (e.g., accomplices and malicious actors). Morphed images can be verified against contributing data subjects with a reasonable success rate, given they have a high degree of facial resemblance. The success of morphing attacks is directly dependent on the quality of the generated morph images. We present a new approach for generating strong attacks extending our earlier framework for generating face morphs. We present a new approach using an Identity Prior Driven Generative Adversarial Network, which we refer to as MIPGAN (Morphing through Identity Prior driven GAN). The proposed MIPGAN is derived from the StyleGAN with a newly formulated loss function exploiting perceptual quality and identity factor to generate a high quality morphed facial image with minimal artefacts and with high resolution. We demonstrate the proposed approach's applicability to generate strong morphing attacks by evaluating its vulnerability against both commercial and deep learning based Face Recognition System (FRS) and demonstrate the success rate of attacks. Extensive experiments are carried out to assess the FRS's vulnerability against the proposed morphed face generation technique on three types of data such as digital images, re-digitized (printed and scanned) images, and compressed images after re-digitization from newly generated MIPGAN Face Morph Dataset. The obtained results demonstrate that the proposed approach of morph generation poses a high threat to FRS.

研究动机与目标

• 为解决现有融合攻击生成图像质量低劣或存在伪影的问题，此类问题会降低其绕过面部识别系统（FRS）的有效性。
• 开发一种基于GAN的方法，在生成高分辨率、低伪影的逼真融合面部图像的同时，保持身份特征的一致性。
• 在多种图像类型（数字图像、重数字化图像、压缩图像）下，评估所生成融合攻击对商用及基于深度学习的FRS的脆弱性。
• 构建一个全新的大规模人脸融合数据集（30,000张融合图像），以支持未来在融合攻击检测（MAD）领域的研究。
• 利用最先进的MAD机制，评估MIPGAN生成的融合图像的泛化能力与可检测性。

提出的方法

• 采用StyleGAN作为主干生成器，利用其高分辨率图像生成能力。
• 提出一种新型损失函数，结合感知损失与身份因子损失，以保持面部身份一致性并提升视觉质量。
• 利用预训练的人脸嵌入模型（如ArcFace）提取的身份先验信息，指导生成器在融合图像中保持身份一致性。
• 训练判别器以区分真实与生成的融合图像，强化图像的真实感并最小化伪影。
• 采用两阶段训练策略：首先使用身份损失与感知损失对生成器进行预训练，随后与判别器进行对抗训练。
• 通过在潜在空间中基于身份先验进行插值，融合两个或多个源人脸图像，生成融合图像。

实验结果

研究问题

• RQ1 基于GAN的方法能否生成在视觉上逼真且能绕过现代面部识别系统的融合面部图像？
• RQ2 在损失函数中引入身份先验，对生成融合图像的感知质量与身份保持能力有何影响？
• RQ3 MIPGAN生成的融合图像在商用及基于深度学习的FRS中，对参与融合的主体进行身份验证时的成功率如何？
• RQ4 利用现有最先进的融合攻击检测（MAD）机制，MIPGAN生成的融合图像可检测性如何？
• RQ5 图像退化（如打印-扫描、压缩）如何影响MIPGAN生成融合图像的可检测性与成功率？

主要发现

• MIPGAN生成的融合图像在绕过商用及基于深度学习的面部识别系统方面取得了极高的成功率，展现出强大的攻击潜力。
• 与传统基于关键点的融合技术相比，该方法在视觉质量与攻击成功率方面均有显著提升，尤其在真实世界图像退化条件下表现更优。
• MIPGAN-I与MIPGAN-II变体生成的融合图像伪影极少，感知质量高，经自动化指标与人工评估均得到验证。
• 当MAD机制在相似数据上进行训练时，MIPGAN生成的融合图像具有高度可检测性；然而，当在未见过的融合方法上测试时，其表现出强大的泛化能力与规避能力。
• 当在MIPGAN生成的图像上测试时，MAD机制的检测性能显著下降，尤其在打印-扫描与压缩图像场景中，表明MIPGAN的合成噪声有效模拟了真实世界退化特征。
• 在MIPGAN生成数据上进行训练的MAD模型，对打印-扫描与压缩融合图像的检测准确率高于对数字融合图像的检测，表明MIPGAN的输出能有效模拟真实世界退化模式。