[论文解读] Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems

Haoliang Li, Yufei Wang+6 more|arXiv (Cornell University)|Sep 15, 2020

Biometric Identification and Security参考文献 61被引用 13

一句话总结

本文提出了一种新颖的黑盒后门攻击方法，通过调制LED灯光生成物理色彩条纹图案，利用CMOS传感器的滚动快门机制在数据采集过程中注入触发器，针对人脸识别系统。该攻击在仿真环境中最高实现88%的成功率，在物理环境中实现40%的成功率，且假设条件极少，展示了对现实世界人脸识别系统的一种实用且隐蔽的威胁。

ABSTRACT

Deep neural networks (DNN) have shown great success in many computer vision applications. However, they are also known to be susceptible to backdoor attacks. When conducting backdoor attacks, most of the existing approaches assume that the targeted DNN is always available, and an attacker can always inject a specific pattern to the training data to further fine-tune the DNN model. However, in practice, such attack may not be feasible as the DNN model is encrypted and only available to the secure enclave. In this paper, we propose a novel black-box backdoor attack technique on face recognition systems, which can be conducted without the knowledge of the targeted DNN model. To be specific, we propose a backdoor attack with a novel color stripe pattern trigger, which can be generated by modulating LED in a specialized waveform. We also use an evolutionary computing strategy to optimize the waveform for backdoor attack. Our backdoor attack can be conducted in a very mild condition: 1) the adversary cannot manipulate the input in an unnatural way (e.g., injecting adversarial noise); 2) the adversary cannot access the training database; 3) the adversary has no knowledge of the training model as well as the training set used by the victim party. We show that the backdoor trigger can be quite effective, where the attack success rate can be up to $88\%$ based on our simulation study and up to $40\%$ based on our physical-domain study by considering the task of face recognition and verification based on at most three-time attempts during authentication. Finally, we evaluate several state-of-the-art potential defenses towards backdoor attacks, and find that our attack can still be effective. We highlight that our study revealed a new physical backdoor attack, which calls for the attention of the security issue of the existing face recognition/verification techniques.

研究动机与目标

• 解决当攻击者无法访问模型、训练数据和训练过程时，人脸识别系统中实际后门攻击的空白问题。
• 开发一种物理上可行且隐蔽的后门触发器，无需访问训练数据或模型架构。
• 利用深度神经网络（DNN）解释中常见的视觉特征（如色彩和边缘图案）来构建有效且自然外观的触发器。
• 在现实世界约束条件下（包括反欺骗机制和最先进的防御措施）评估攻击的有效性。
• 证明此类攻击可绕过现有防御措施，并揭示人脸识别系统中的关键安全漏洞。

提出的方法

• 攻击使用通过OOK（开关键控）波形调制LED光生成的色彩条纹图案触发器，人眼不可见。
• 通过利用CMOS传感器的滚动快门机制，在图像采集过程中注入触发器，该机制逐行采样像素，导致时间调制在图像中表现为空间条纹。
• 采用进化计算策略优化LED波形，在物理约束条件下实现最高的后门成功率。
• 攻击在黑盒设置下进行：攻击者无法访问模型、训练数据或训练过程，也无法直接注入对抗性噪声或污染数据。
• 该方法利用在ImageNet上预训练并微调用于人脸识别的DNN中共享的通用知识（如色彩、边缘检测），使触发器在多种模型上均有效。
• 在仿真和物理环境两种条件下，使用最先进的DNN和商用人脸识别系统对攻击进行了评估。

实验结果

研究问题

• RQ1 在无法访问模型、训练数据或训练过程的情况下，能否有效将后门触发器注入人脸识别系统？
• RQ2 通过调制LED灯光生成的物理色彩条纹图案，是否能够作为隐蔽且有效的后门触发器？
• RQ3 在考虑环境和硬件约束的现实物理部署中，该攻击的成功程度如何？
• RQ4 该攻击对最先进的防御措施（如图像去条纹、光谱分析和模型清洗）的有效性如何？
• RQ5 该攻击能否绕过检测非自然图案的面部反欺骗机制？

主要发现

• 所提出的攻击在最先进的DNN模型上的仿真评估中实现了88%的成功率。
• 在物理环境实验中，攻击在最多三次认证尝试中实现了40%的成功率，证明了其在现实世界中的可行性。
• 该攻击对多种最先进的防御措施仍具有效性，包括图像去条纹（在色彩条纹图像上攻击成功率79.76%）和模型清洗技术。
• 对LED波形的进化优化显著提升了攻击成功率，通过增强在滚动快门采样下的触发器可见性。
• 由于色彩条纹图案具有自然外观，该攻击成功绕过了面部反欺骗机制，其效果类似于环境光照变化。
• 本研究揭示了人脸识别系统中存在关键的物理后门漏洞，尤其是在训练数据在不可信环境中采集时更为显著。