[论文解读] FaceHack: Triggering backdoored facial recognition systems using facial characteristics

Esha Sarkar, Hadjer Benkraouda+1 more|arXiv (Cornell University)|Jun 20, 2020

Face recognition and analysis被引用 9

一句话总结

本文提出 FaceHack，一种新型的面部识别系统后门攻击方法，利用自然或人工的面部特征（如表情、滤镜或肌肉运动）作为大规模、上下文隐蔽的触发器。与传统的小型静态触发器不同，这些动态、图像级的修改能够规避最先进的防御机制，同时保持高攻击成功率和模型准确率。

ABSTRACT

Recent advances in Machine Learning (ML) have opened up new avenues for its extensive use in real-world applications. Facial recognition, specifically, is used from simple friend suggestions in social-media platforms to critical security applications for biometric validation in automated immigration at airports. Considering these scenarios, security vulnerabilities to such ML algorithms pose serious threats with severe outcomes. Recent work demonstrated that Deep Neural Networks (DNNs), typically used in facial recognition systems, are susceptible to backdoor attacks; in other words,the DNNs turn malicious in the presence of a unique trigger. Adhering to common characteristics for being unnoticeable, an ideal trigger is small, localized, and typically not a part of the main im-age. Therefore, detection mechanisms have focused on detecting these distinct trigger-based outliers statistically or through their reconstruction. In this work, we demonstrate that specific changes to facial characteristics may also be used to trigger malicious behavior in an ML model. The changes in the facial attributes maybe embedded artificially using social-media filters or introduced naturally using movements in facial muscles. By construction, our triggers are large, adaptive to the input, and spread over the entire image. We evaluate the success of the attack and validate that it does not interfere with the performance criteria of the model. We also substantiate the undetectability of our triggers by exhaustively testing them with state-of-the-art defenses.

研究动机与目标

• 研究面部识别系统在利用面部特征作为触发器的后门攻击下的脆弱性。
• 开发大范围、自适应且上下文伪装的触发器，使其难以被传统检测方法发现。
• 评估这些触发器在规避最先进的后门防御机制方面的有效性。
• 证明面部属性可被自然或人工操控，以触发恶意行为，同时不降低模型性能。
• 挑战仅小型局部触发器可用于后门攻击的假设，表明大范围、分布式的触发器同样有效且不可检测。

提出的方法

• 基于面部属性（如表情、化妆或社交媒体滤镜）设计触发器，这些属性自然或人为地应用于输入图像。
• 使用在标准面部识别数据集上训练的深度神经网络（DNNs），通过在训练数据中引入基于面部特征的触发器来注入后门。
• 通过利用自然面部变化和图像相似性度量（pHash、dHash）确保触发器为大规模（最小约图像面积的77%）且上下文不可见。
• 训练模型在干净数据上保持高分类准确率，同时在受触发样本上实现高攻击成功率（ASR）。
• 使用人工和自然触发器，对多种最先进的防御机制（包括 Neural Cleanse、STRIP、ABS 和 NNoculation）评估后门模型的鲁棒性。
• 分析倒数第二层的神经元激活模式，确认多个神经元被激活，表明触发器的激活机制复杂且非平凡。

实验结果

研究问题

• RQ1 面部特征（如表情或化妆）能否作为有效的大规模触发器，用于面部识别系统的后门攻击？
• RQ2 这些基于面部特征的触发器在多大程度上可规避现有最先进的后门防御机制？
• RQ3 与传统的小型静态触发器相比，使用自然或人工面部修饰对攻击成功率和模型准确率有何影响？
• RQ4 即使触发器在整张脸上上下文伪装并广泛分布，是否仍能有效激活深度神经网络中的恶意行为？
• RQ5 当面对大规模、自适应且上下文不可见的面部触发器时，现有防御机制存在哪些局限性？

主要发现

• 所提出的基于面部特征的触发器在所有评估模型中均实现了超过95%的攻击成功率（ASR），即使触发器大且上下文伪装。
• pHash 和 dHash 相似度评分表明，人工触发器具有高度不可见性，其值显示与原始图像的视觉差异极小。
• 自然触发器（如面部表情或肌肉运动）本身即不可见，无需外部操作即可有效发挥作用。
• 所有评估的最先进的防御机制——Neural Cleanse、STRIP、ABS 和 NNoculation——在面部特征触发时均未能检测或缓解后门行为。
• 倒数第二层激活分析显示，恶意样本的神经元响应出现多个峰值，证实后门并非依赖单一神经元，因而更难被检测。
• NNoculation 在第一阶段即失败，即使在验证数据上施加高达60%的噪声，也无法将 ASR 降低至10%以下，表明该防御对这些大规模自适应触发器无效。