[论文解读] Defending against Backdoor Attack on Deep Neural Networks

Hao Cheng, Kaidi Xu+4 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 37

一句话总结

该论文分析后门攻击如何改变DNN的激活模式，并提出基于L∞的神经元剪枝防御，在降低攻击成功率的同时尽量保持对干净数据的精度。

ABSTRACT

Although deep neural networks (DNNs) have achieved a great success in various computer vision tasks, it is recently found that they are vulnerable to adversarial attacks. In this paper, we focus on the so-called extit{backdoor attack}, which injects a backdoor trigger to a small portion of training data (also known as data poisoning) such that the trained DNN induces misclassification while facing examples with this trigger. To be specific, we carefully study the effect of both real and synthetic backdoor attacks on the internal response of vanilla and backdoored DNNs through the lens of Gard-CAM. Moreover, we show that the backdoor attack induces a significant bias in neuron activation in terms of the $\ell_\infty$ norm of an activation map compared to its $\ell_1$ and $\ell_2$ norm. Spurred by our results, we propose the extit{$\ell_\infty$-based neuron pruning} to remove the backdoor from the backdoored DNN. Experiments show that our method could effectively decrease the attack success rate, and also hold a high classification accuracy for clean images.

研究动机与目标

• 通过Grad-CAM表征常规与后门DNN在后门触发下的响应。
• 通过p范数对神经元激活模式进行定量分析，以识别鲁棒的防御标准。
• 提出并评估基于L-infinity范数的神经元剪枝方法以缓解后门效应。
• 在交通标志数据集上展示防御对攻击抑制与干净准确率之间的权衡。

提出的方法

• 使用Grad-CAM可视化干净输入与触发输入下普通与后门DNN的判别区域。
• 计算最终卷积层的神经元激活图，并在输入条件下比较L1、L2和L-infinity范数。
• 通过触发器反向工程合成后门触发，并评估四种输入条件(干净、干净+ori、干净+syn、干净+ori+syn)。
• 识别L-infinity范数在干净与触发之间表现出最强的差异。
• 对具有高L-infinity激活的神经元进行剪枝，以抑制触发引发的预测。
• 在使用AlexNet的德国交通标志识别基准上评估剪枝，报告准确率和攻击成功率。

实验结果

研究问题

• RQ1 Grad-CAM是否能揭示普通DNN与后门DNN在对后门触发响应上的差异？
• RQ2 哪种激活范数度量在区分干净与触发激活方面表现最好？
• RQ3 基于L-infinity的神经元剪枝是否能在保持干净准确率的同时有效降低后门攻击成功率？
• RQ4 防御强度与模型在干净数据上的性能之间存在何种权衡？

主要发现

• 后门DNN在触发存在时对触发区域的激活具有可区分性。
• 最终层激活的L-infinity范数相较于L1、L2，对干净与触发输入之间的差异表现出最大的区别。
• 基于L-infinity的剪枝将攻击成功率从81.61%降至42.99–48.42%，同时对干净准确率有适度损失。
• 最佳剪枝阈值在干净准确率下降最小的同时显著降低攻击成功率的平衡点。