[论文解读] Improving Transferability of Adversarial Patches on Face Recognition with Generative Models

Zihao Xiao, Xianfeng Gao+6 more|arXiv (Cornell University)|Jun 29, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

该论文提出GenAP-DI方法，通过在预训练生成模型（如StyleGAN2）学习到的人脸特定潜在流形上优化扰动，提升了对抗性补丁在人脸识别中的可迁移性。通过将对抗性补丁约束在潜在空间中的逼真人脸特征范围内，该方法减少了对替代模型的过拟合，在数字和物理世界设置下均实现了显著更高的可迁移性，优于基线的基于迁移的方法，在黑箱攻击场景中表现更优。

ABSTRACT

Face recognition is greatly improved by deep convolutional neural networks (CNNs). Recently, these face recognition models have been used for identity authentication in security sensitive applications. However, deep CNNs are vulnerable to adversarial patches, which are physically realizable and stealthy, raising new security concerns on the real-world applications of these models. In this paper, we evaluate the robustness of face recognition models using adversarial patches based on transferability, where the attacker has limited accessibility to the target models. First, we extend the existing transfer-based attack techniques to generate transferable adversarial patches. However, we observe that the transferability is sensitive to initialization and degrades when the perturbation magnitude is large, indicating the overfitting to the substitute models. Second, we propose to regularize the adversarial patches on the low dimensional data manifold. The manifold is represented by generative models pre-trained on legitimate human face images. Using face-like features as adversarial perturbations through optimization on the manifold, we show that the gaps between the responses of substitute models and the target models dramatically decrease, exhibiting a better transferability. Extensive digital world experiments are conducted to demonstrate the superiority of the proposed method in the black-box setting. We apply the proposed method in the physical world as well.

研究动机与目标

• 评估人脸识别模型在无查询黑箱设置下对抗性补丁的鲁棒性，该威胁模型比白箱或查询式攻击更具现实性。
• 解决现有基于迁移的对抗性补丁方法可迁移性差的问题，这些方法因对初始化和扰动幅度敏感而对替代模型产生过拟合。
• 通过利用基于真实人脸图像训练的生成模型所导出的低维数据流形，对对抗性补丁进行正则化，以提升其可迁移性。
• 在真实世界部署场景中，证明所提出的对抗性补丁在物理可实现性和有效性方面表现良好。

提出的方法

• 该方法将基于迁移的攻击技术扩展至对抗性补丁设置，使用替代模型在无直接访问目标模型的情况下生成对抗性样本。
• 通过在预训练生成模型（如StyleGAN2）的潜在空间中优化对抗性补丁，引入流形正则化策略，该模型可合成逼真的真人面孔。
• 从多种配置（Z、W、W+、噪声）中采样潜在空间，以探索生成可迁移补丁的最有效优化域。
• 优化目标定义为在替代模型上的对抗损失，但受限于生成位于人脸流形上的扰动，以确保特征的逼真性和泛化能力。
• 该方法实现为GenAP-DI，利用生成模型的可微接口，通过生成器反向传播梯度并更新潜在码。
• 该方法在数字（黑箱）和物理世界设置中均得到验证，包括打印和拍摄对抗性眼镜框以进行真实世界测试。

实验结果

研究问题

• RQ1 基于迁移的对抗性补丁生成能否有效扩展至补丁设置？在黑箱设置下是否仍存在对替代模型的过拟合问题？
• RQ2 将对抗性补丁正则化至人脸特定潜在流形上，是否能提升其在未见目标模型上的可迁移性？
• RQ3 生成模型架构（如ProGAN、StyleGAN、StyleGAN2）和潜在空间（Z、W、W+）的选择如何影响所提方法的性能？
• RQ4 在物理部署后，如打印和拍照后，生成的对抗性补丁是否仍能保持高可迁移性？
• RQ5 与使用人脸特征的现有方法（如SemanticAdv）相比，所提方法在可迁移性和鲁棒性方面表现如何？

主要发现

• 所提GenAP-DI方法在物理世界测试中显著优于基线方法TAP-TIDIMv2，FaceNet上的平均余弦相似度为33.4±1.8，CosFace上为27.2±2.2。
• 在物理世界实验中，GenAP-DI在打印和拍照后仍保持高可迁移性（如FaceNet上为24.6±2.0），优于TAP-TIDIMv2。
• 该方法对生成模型架构有强依赖性：StyleGAN2配合W+空间表现最佳，而ProGAN无法生成有效补丁。
• 在Z空间和噪声空间中优化导致性能较差，表明更高维且解耦程度更高的潜在空间（如W+）对有效对抗性补丁生成至关重要。
• 通过利用逼真人脸特征，该方法降低了替代模型与目标模型响应之间的差距，提升了泛化能力并减少了过拟合。
• GenAP-DI在数字和物理设置中均优于最先进方法SemanticAdv，证明了基于流形正则化的优越性。