[论文解读] Adversarial Relighting Against Face Recognition

Qian Zhang, Qing Gao+4 more|arXiv (Cornell University)|Aug 18, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

本文提出对抗性光照重布作为针对深度人脸识别系统的新型攻击向量，提出AQ-ARA与AP-ARA方法，生成逼真的对抗性光照条件以欺骗最先进的人脸识别模型。通过Phy-ARA实现实物世界部署，使FaceNet的余弦相似度从0.71降至0.31，降幅达59%，揭示了在真实光照条件下存在的关键安全漏洞。

ABSTRACT

Deep face recognition (FR) has achieved significantly high accuracy on several challenging datasets and fosters successful real-world applications, even showing high robustness to the illumination variation that is usually regarded as a main threat to the FR system. However, in the real world, illumination variation caused by diverse lighting conditions cannot be fully covered by the limited face dataset. In this paper, we study the threat of lighting against FR from a new angle, i.e., adversarial attack, and identify a new task, i.e., adversarial relighting. Given a face image, adversarial relighting aims to produce a naturally relighted counterpart while fooling the state-of-the-art deep FR methods. To this end, we first propose the physical modelbased adversarial relighting attack (ARA) denoted as albedoquotient-based adversarial relighting attack (AQ-ARA). It generates natural adversarial light under the physical lighting model and guidance of FR systems and synthesizes adversarially relighted face images. Moreover, we propose the auto-predictive adversarial relighting attack (AP-ARA) by training an adversarial relighting network (ARNet) to automatically predict the adversarial light in a one-step manner according to different input faces, allowing efficiency-sensitive applications. More importantly, we propose to transfer the above digital attacks to physical ARA (PhyARA) through a precise relighting device, making the estimated adversarial lighting condition reproducible in the real world. We validate our methods on three state-of-the-art deep FR methods, i.e., FaceNet, ArcFace, and CosFace, on two public datasets. The extensive and insightful results demonstrate our work can generate realistic adversarial relighted face images fooling face recognition tasks easily, revealing the threat of specific light directions and strengths.

研究动机与目标

• 探究深度人脸识别系统在对抗性光照条件下的脆弱性，此类条件通常被认为对光照变化具有鲁棒性。
• 提出一项新任务——对抗性光照重布攻击（ARA），在保持自然光照外观的同时，生成可规避识别的对抗性光照。
• 通过精确的光照设备，弥合数字对抗攻击与现实世界物理部署之间的鸿沟。
• 在多个最先进的人脸识别模型和数据集上评估对抗性光照重布的有效性。

提出的方法

• 提出AQ-ARA，一种基于物理模型的对抗性光照重布攻击，利用光照模型与人脸识别系统反馈，优化对抗性光照参数。
• 基于反照率商模型定义对抗性目标函数，以生成外观自然的对抗性光照，同时最大化识别失败。
• 提出AP-ARA，一种端到端的一步式对抗性光照网络（ARNet），可直接从输入人脸预测对抗性光照，提升效率。
• 采用机械臂与高精度光照设备，将数字攻击转化为物理ARA（Phy-ARA），实现现实世界验证。
• 使用余弦相似度作为主要指标，评估多种人脸识别模型与光照条件下的识别失败程度。
• 通过光照图差异的三维直方图映射进行敏感性分析，识别最易扰乱识别的关键光照方向。

实验结果

研究问题

• RQ1 能否以物理上合理且逼真的方式生成对抗性光照条件，以欺骗深度人脸识别系统？
• RQ2 对抗性光照重布在降低FaceNet、ArcFace等最先进人脸识别模型的识别准确率方面效果如何？
• RQ3 数字对抗性光照重布攻击能否成功转移并再现于物理世界，对识别性能产生可测量的影响？
• RQ4 哪些光照方向与强度对人脸识别系统最敏感，其敏感性如何随扰动幅度变化？
• RQ5 在低分辨率或遮挡等自然图像退化条件下，对抗性光照重布的效力在多大程度上仍保持有效？

主要发现

• AQ-ARA将参考图像的余弦相似度从0.8069降至0.4068，表明在对抗性光照下出现显著识别失败。
• 物理攻击（Phy-ARA）使FaceNet的相似度从0.7099降至0.5896，而数字版AQ-ARA则降至0.3107，证实了现实世界可行性。
• 敏感性分析显示，位于人脸中心与底部区域的光照源最易扰乱识别，尤其在较高扰动水平（ε = 0.4 和 ε = 0.8）下效果显著。
• AP-ARA实现一步式对抗性光照预测，适用于实时及对效率要求高的应用场景。
• AQ-ARA生成的对抗性光照与物理重布结果高度一致，验证了攻击的逼真性与可复现性。
• 随机光照调整对识别影响微乎其微，确认攻击并非源于一般性光照变化，而是源于有针对性的对抗性光照设计。