[论文解读] Controllable Evaluation and Generation of Physical Adversarial Patch on Face Recognition

Xiao Yang, Yinpeng Dong+4 more|arXiv (Cornell University)|Mar 9, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 Face3DAdv，一种基于3D人脸建模仿真框架的物理鲁棒对抗补丁生成方法，用于攻击人脸识别系统。通过模拟真实的3D人脸变换（包括姿态、光照和视角），该框架实现了可复现的评估，并生成在白盒和黑盒设置下，模拟环境和真实世界物理攻击中均取得显著更高成功率的补丁。

ABSTRACT

Recent studies have revealed the vulnerability of face recognition models against physical adversarial patches, which raises security concerns about the deployed face recognition systems. However, it is still challenging to ensure the reproducibility for most attack algorithms under complex physical conditions, which leads to the lack of a systematic evaluation of the existing methods. It is therefore imperative to develop a framework that can enable a comprehensive evaluation of the vulnerability of face recognition in the physical world. To this end, we propose to simulate the complex transformations of faces in the physical world via 3D-face modeling, which serves as a digital counterpart of physical faces. The generic framework allows us to control different face variations and physical conditions to conduct reproducible evaluations comprehensively. With this digital simulator, we further propose a Face3DAdv method considering the 3D face transformations and realistic physical variations. Extensive experiments validate that Face3DAdv can significantly improve the effectiveness of diverse physically realizable adversarial patches in both simulated and physical environments, against various white-box and black-box face recognition models.

研究动机与目标

• 解决人脸识别系统中物理对抗攻击缺乏可复现和系统性评估的问题。
• 克服现有基于2D的对抗攻击方法在建模复杂3D人脸变换和物理变化方面的局限性。
• 开发一种仿真框架，实现在多样化物理条件下受控、逼真且可复现的对抗补丁测试。
• 设计一种基于纹理的对抗攻击方法（Face3DAdv），利用3D人脸建模生成更真实且鲁棒的对抗补丁。
• 在模拟和真实世界物理环境中验证所提方法的有效性和可迁移性。

提出的方法

• 利用3D人脸生成器从单张2D图像合成详细的3D人脸几何、纹理、视角和光照。
• 提出一种基于纹理的对抗攻击范式，将补丁嵌入3D人脸表面，实现在曲面面部区域的逼真补丁放置。
• 采用可微分渲染器，在姿态、光照和视角等受控物理变化下将3D对抗人脸投影为2D图像。
• 在优化过程中使用重要性采样，优先选择能最大化物理条件下攻击成功率的变换。
• 集成可微分渲染流水线，实现从3D到2D投影的端到端反向传播，支持对抗补丁的梯度优化。
• 采用模拟框架以镜像真实世界物理条件，实现对抗补丁性能的一致评估与基准测试。

实验结果

研究问题

• RQ1 3D人脸仿真框架能否实现对人脸识别中物理对抗补丁的可复现和全面评估？
• RQ2 与基于2D的方法相比，建模3D人脸变换（如姿态、光照、视角）在多大程度上提升了对抗补丁的鲁棒性和可迁移性？
• RQ3 所提出的 Face3DAdv 方法在模拟和真实世界物理环境中，与现有物理攻击基线（如 GenAP、AdvHat）相比，性能提升程度如何？
• RQ4 基于纹理的对抗补丁（保留深度图）能否通过黑盒可迁移性有效攻击3D人脸识别模型？
• RQ5 在优化过程中使用重要性采样在多大程度上提升了对抗补丁在多样化物理变化下的有效性？

主要发现

• 在真实世界实验中，Face3DAdv 在 CosFace 上对俯仰角变化的物理攻击成功率达 64.62%，对偏航角变化为 69.37%，对光照变化为 72.40%，显著优于 GenAP（分别为 42.43%、53.50%、57.70%）。
• 即使在攻击设置中无物理变化时，该方法仍保持高性能（64.62% 成功率），表明其具备强大的内在鲁棒性。
• Face3DAdv 展现出优越的黑盒可迁移性，在攻击未见过的模型时成功率更高，优于基线方法。
• 重要性采样策略通过在优化过程中更有效地探索有利的物理变换，提升了攻击成功率。
• 该方法成功通过黑盒可迁移性攻击3D人脸识别模型（如 RGBD-FR），证实其在2D识别系统之外的有效性。
• 物理实验表明，仿真与真实世界部署之间性能一致，验证了模拟器在近似真实物理条件方面的保真度。