[论文解读] Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics

Xin Li, Fuxin Li|arXiv (Cornell University)|Dec 22, 2016

Adversarial Robustness in Machine Learning参考文献 31被引用 17

一句话总结

本文提出了一种轻量级、非次可微的级联分类器，通过分析深度神经网络中多个层次的卷积滤波器统计特性来检测对抗性样本。该方法在多种数据集和攻击类型上实现了超过85%的检测准确率，并通过使用简单的3×3平均滤波器使73%的对抗性样本得以恢复，展示了在不同对抗性攻击方法上的强大泛化能力。

ABSTRACT

Deep learning has greatly improved visual recognition in recent years. However, recent research has shown that there exist many adversarial examples that can negatively impact the performance of such an architecture. This paper focuses on detecting those adversarial examples by analyzing whether they come from the same distribution as the normal examples. Instead of directly training a deep neural network to detect adversarials, a much simpler approach was proposed based on statistics on outputs from convolutional layers. A cascade classifier was designed to efficiently detect adversarials. Furthermore, trained from one particular adversarial generating mechanism, the resulting classifier can successfully detect adversarials from a completely different mechanism as well. The resulting classifier is non-subdifferentiable, hence creates a difficulty for adversaries to attack by using the gradient of the classifier. After detecting adversarial examples, we show that many of them can be recovered by simply performing a small average filter on the image. Those findings should lead to more insights about the classification mechanisms in deep convolutional neural networks.

研究动机与目标

• 为解决在安全关键应用中可能危及深度神经网络的对抗性样本检测这一关键需求。
• 开发一种在无需微调的情况下对不同对抗性攻击机制均具有鲁棒性的检测方法。
• 通过分析中间卷积层的统计特性，为深层网络的内部行为提供洞察。
• 探索实用的对抗性样本恢复技术，以在保持模型准确率的同时实现有效恢复。

提出的方法

• 该方法从预训练的卷积神经网络中多个层次的卷积滤波器输出中提取简单的统计特征（如均值、方差）。
• 利用这些滤波器统计特征训练级联分类器，以区分正常样本与对抗性样本。
• 分类器在一种攻击方法（如L-BFGS）生成的对抗性样本上进行训练，并在其他方法（如EA）生成的对抗性样本上进行测试，从而实现零样本泛化。
• 该方法通过非次可微性避免了基于梯度的优化，使其对针对检测器的对抗性攻击具有更强的抵抗力。
• 通过在检测到的对抗性样本上应用小型3×3平均滤波器，实现图像恢复，以抵消局部扰动。
• 该框架集成了自感知学习策略，当不确定性较高时模型会主动放弃预测，从而提升安全性。

实验结果

研究问题

• RQ1 中间卷积层输出的简单统计特征是否能有效区分对抗性样本与正常输入？
• RQ2 在一种对抗性生成方法上训练的检测器是否能泛化到完全不同的攻击机制所生成的对抗性样本？
• RQ3 在多大程度上可以使用简单、非学习型的图像处理技术来逆转对抗性扰动？
• RQ4 与当前最先进的对抗性检测技术相比，该方法的性能如何？
• RQ5 该检测与恢复流程是否能提升深度神经网络在实际部署中的鲁棒性与安全性？

主要发现

• 所提出的级联分类器在多个数据集和攻击类型上检测到超过85%的对抗性样本。
• 检测器具有良好的泛化能力：在L-BFGS生成的对抗性样本上训练的模型无需微调即可成功检测EA生成的对抗性样本。
• 对检测到的对抗性样本应用3×3平均滤波器后，Top-5指标下的分类准确率可恢复至73.0%。
• 使用更大滤波器时恢复性能略有下降（如5×5平均滤波器仅达到68.0%准确率），表明性能对滤波器尺寸敏感。
• 该方法表明，对抗性扰动通常具有局部特性，可通过简单的空间平滑技术予以消除，暗示当前网络设计存在潜在漏洞。
• 结果表明，当前深度网络对微小、局部的扰动过于敏感，凸显了对更大感受野或替代归一化策略的需求。