[论文解读] Backdooring Convolutional Neural Networks via Targeted Weight Perturbations

Jacob Dumford, Walter J. Scheirer|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning被引用 12

一句话总结

本文提出了一种针对预训练卷积神经网络（CNN）的新颖后门攻击方法，通过扰动网络权重注入定向后门，使攻击者能够将特定伪造输入错误地验证为合法身份。该方法在保持非目标类别原始准确率的同时，使目标类别上的误报率最高达到75%，使得通过性能监控或文件哈希检测极为困难。

ABSTRACT

We present a new type of backdoor attack that exploits a vulnerability of convolutional neural networks (CNNs) that has been previously unstudied. In particular, we examine the application of facial recognition. Deep learning techniques are at the top of the game for facial recognition, which means they have now been implemented in many production-level systems. Alarmingly, unlike other commercial technologies such as operating systems and network devices, deep learning-based facial recognition algorithms are not presently designed with security requirements or audited for security vulnerabilities before deployment. Given how young the technology is and how abstract many of the internal workings of these algorithms are, neural network-based facial recognition systems are prime targets for security breaches. As more and more of our personal information begins to be guarded by facial recognition (e.g., the iPhone X), exploring the security vulnerabilities of these systems from a penetration testing standpoint is crucial. Along these lines, we describe a general methodology for backdooring CNNs via targeted weight perturbations. Using a five-layer CNN and ResNet-50 as case studies, we show that an attacker is able to significantly increase the chance that inputs they supply will be falsely accepted by a CNN while simultaneously preserving the error rates for legitimate enrolled classes.

研究动机与目标

• 研究通过修改模型权重而非训练数据或输入来对预训练CNN实施后门攻击的可行性。
• 证明此类攻击可在无训练数据访问权限的情况下，仅通过访问预训练模型在部署后执行。
• 评估该攻击在保持合法输入高准确率的同时，显著提高目标伪造输入误分类率的有效性。
• 评估使用标准完整性验证方法（如文件哈希）检测此类后门的难度。
• 探讨该漏洞对实际人脸识别系统及深度学习模型整体安全性的实际影响。

提出的方法

• 攻击使用优化算法计算定向权重扰动，以最大化将特定伪造输入错误分类为目标身份的可能性。
• 扰动直接应用于预训练CNN（如五层CNN或ResNet-50）的已学习权重，不修改训练数据或输入处理流程。
• 优化过程受到约束，确保模型在所有非目标输入上的原始准确率与原始值相差不超过1.5%。
• 在多种模型架构和伪造-目标对上评估该攻击，成功定义为目标类别上误报率≥40%。
• 通过模拟常见完整性检查（包括密码学哈希和随机模型输出）测试检测抗性。
• 该方法假设已发生系统入侵以访问模型权重，与传统网络安全中的根kit式攻击一致。

实验结果

研究问题

• RQ1 是否可以通过仅修改网络权重，在无训练数据访问权限的情况下，成功在预训练CNN中植入后门？
• RQ2 该攻击在保持合法输入原始准确率的同时，使特定目标类别误报率显著升高的程度如何？
• RQ3 标准检测机制（如文件哈希）在识别此类基于权重的后门方面有多有效？
• RQ4 通过模型微调剪枝或随机推理等技术，能否规避或缓解此类攻击？
• RQ5 该攻击对已部署人脸识别系统具有何种实际影响？

主要发现

• 所提出的攻击成功将目标伪造输入的误报率提高至最高75%，同时所有其他输入的原始准确率保持在1.5%以内。
• 在15%的测试迭代中，攻击在目标类别上实现了至少40%的误报率，达到成功阈值。
• 该攻击在多种架构（包括五层CNN和ResNet-50）上均有效，证明了其广泛适用性。
• 基于文件哈希的检测不可靠，原因在于随机权重扰动以及后门注入期间潜在的哈希碰撞攻击。
• 由于模型在非目标输入上的整体准确率保持不变，该攻击无法通过性能监控被检测到。
• 本研究突显了已部署深度学习模型在部署后遭受权重操纵的脆弱性，即使模型在部署后经过审计也难以避免。