[论文解读] Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection

Hao Fu, Akshaj Kumar Veldanda+3 more|arXiv (Cornell University)|Nov 4, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 11

一句话总结

该论文提出了一种新颖的基于特征的异常检测防御方法，通过分析输入-特征-输出行为而非网络内部结构来检测神经网络中的后门。该方法采用两种协同工作的检测器——针对新特征和异常的特征到输出映射——在多种后门模型上实现了超过95%的干净准确率和低于1%的攻击成功率，即使在领域分布偏移和不可察觉触发器的情况下也表现良好。

ABSTRACT

This paper proposes a new defense against neural network backdooring attacks that are maliciously trained to mispredict in the presence of attacker-chosen triggers. Our defense is based on the intuition that the feature extraction layers of a backdoored network embed new features to detect the presence of a trigger and the subsequent classification layers learn to mispredict when triggers are detected. Therefore, to detect backdoors, the proposed defense uses two synergistic anomaly detectors trained on clean validation data: the first is a novelty detector that checks for anomalous features, while the second detects anomalous mappings from features to outputs by comparing with a separate classifier trained on validation data. The approach is evaluated on a wide range of backdoored networks (with multiple variations of triggers) that successfully evade state-of-the-art defenses. Additionally, we evaluate the robustness of our approach on imperceptible perturbations, scalability on large-scale datasets, and effectiveness under domain shift. This paper also shows that the defense can be further improved using data augmentation.

研究动机与目标

• 解决神经网络中后门攻击带来的关键安全风险，尤其是在训练数据不可访问或过大而无法人工检查的情况下。
• 克服现有防御方法对触发器尺寸、形状或位置等限制性假设的局限性。
• 开发一种在特征和输出层面运行的防御机制，使其可扩展应用于神经网络以外的场景。
• 确保对不可察觉扰动、领域分布偏移的鲁棒性，并在大规模数据集（如ImageNet）上具备可扩展性。
• 通过数据增强和使用人工标注的污染样本进行微调，提升检测性能。

提出的方法

• 在干净验证数据上训练新颖性检测器，以识别后门触发器在特征提取层引入的异常特征。
• 在干净验证数据上单独训练一个分类器，用于建模正常的特征到输出映射关系，作为异常检测的参考基准。
• 将后门模型的实际特征到输出映射与参考分类器进行比较，以检测异常预测。
• 采用两阶段检测机制：首先标记具有新颖特征的输入，然后验证其输出映射是否偏离正常行为。
• 对干净验证集应用数据增强（例如高斯噪声）以提高鲁棒性并降低攻击成功率。
• 使用检测到的污染输入的少量样本（10–20%）对分类器进行微调，以进一步降低攻击成功率，同时保持高干净准确率。

实验结果

研究问题

• RQ1 是否可以在不了解触发器特征（如尺寸、形状或位置）的情况下，实现有效的后门检测方法？
• RQ2 该方法在领域分布偏移和不可察觉扰动下的表现如何？
• RQ3 该防御方法能否在仅使用有限干净验证数据的情况下，扩展到ImageNet等大规模数据集？
• RQ4 数据增强和微调在多大程度上能提升检测的鲁棒性并降低攻击成功率？
• RQ5 在多种后门变体下，该方法是否在干净准确率和后门检测准确率方面优于当前最先进防御方法？

主要发现

• 该方法在所有评估的后门模型上均实现了超过95%的干净准确率和低于1%的攻击成功率，包括那些可规避当前最先进防御方法的模型。
• 通过数据增强，攻击成功率降至6%以下（多数情况下低于1%），同时干净准确率仅出现轻微下降。
• 在检测到的污染输入中，使用10–20%的样本对分类器进行微调，可将攻击成功率降至接近零（例如0.07%至0.35%），同时提升干净准确率。
• 即使仅使用原始验证数据的50%，该方法仍保持有效，尽管在更小的数据集上性能略有下降。
• 在ImageNet上，使用8%的训练数据作为验证集，微调后方法实现了约63%的干净准确率和0.14%的攻击成功率。
• 该防御对领域分布偏移和不可察觉扰动具有鲁棒性，展现出在多种后门触发器类型和嵌入方法下的泛化能力。