[论文解读] GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples

Julia Lust, Alexandru Paul Condurache|arXiv (Cornell University)|Apr 20, 2020

Adversarial Robustness in Machine Learning参考文献 14被引用 5

一句话总结

GraN 是一种参数和时间效率均高的基于梯度范数的检测器，通过计算平滑输入相对于网络权重的梯度 L1 范数，识别对抗样本和误分类样本。它在 MNIST、CIFAR-10 和 SVHN 上实现了最先进水平的 AUC ROC 分数（90–100%），仅使用 LID 参数的 0.01% 和运行时间的 0.5%，因此非常适合自动驾驶等资源受限的应用。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial examples and other data perturbations. Especially in safety critical applications of DNNs, it is therefore crucial to detect misclassified samples. The current state-of-the-art detection methods require either significantly more runtime or more parameters than the original network itself. This paper therefore proposes GraN, a time- and parameter-efficient method that is easily adaptable to any DNN. GraN is based on the layer-wise norm of the DNN's gradient regarding the loss of the current input-output combination, which can be computed via backpropagation. GraN achieves state-of-the-art performance on numerous problem set-ups.

研究动机与目标

• 解决自动驾驶等安全关键应用中对抗样本和误分类样本检测器缺乏高效、低开销的问题。
• 克服现有检测器参数或运行时间过高的局限，尤其在实时、资源受限环境中的不足。
• 开发一种在保持高检测性能的同时，兼具参数高效与快速的检测方法，适用于多种对抗攻击。
• 通过最小化计算和内存开销，实现 DNN 系统中鲁棒检测的实际部署。

提出的方法

• 使用反向传播计算略微平滑输入相对于网络权重的损失梯度，类似于训练步骤。
• 通过计算每层梯度的 L1 范数，将层级梯度转换为特征向量。
• 使用在梯度范数特征上训练的轻量级逻辑回归模型，预测误分类的概率。
• 在梯度计算前对输入应用高斯平滑（σ = 0.4），以提升鲁棒性和检测性能。
• 利用误分类样本通常产生比正确分类样本更大的梯度范数这一洞察。
• 通过高斯低通滤波实现扰动去除步骤，以校正误分类输入，尤其对类似噪声的扰动效果显著。

实验结果

研究问题

• RQ1 基于梯度范数的检测器是否能在显著减少参数和运行时间的前提下，实现最先进水平的性能？
• RQ2 GraN 在多种对抗攻击和数据集上与 LID 及其他最先进检测器相比，性能如何？
• RQ3 高斯平滑在多大程度上提升了梯度范数方法的鲁棒性和检测准确性？
• RQ4 GraN 是否能以极低的计算开销，有效检测对抗样本和非对抗性误分类样本？
• RQ5 与 LID 相比，该方法在复杂数据集（如 CIFAR-10 和 SVHN）上的参数和运行时间效率如何扩展？

主要发现

• GraN 在所有测试数据集（MNIST、CIFAR-10、SVHN）和攻击类型上均实现了 90% 至 100% 的 AUC ROC 分数，仅在 MNIST 上因数据集简单而出现轻微性能下降。
• 在 CIFAR-10 上，GraN 在七种攻击中的五种场景下优于 LID，CW 攻击下 AUC 达 99.90%，JSMA 攻击下为 99.42%。
• GraN 的逻辑回归头仅使用 35 个参数，仅占 LID 所需 307,266 个参数的 0.01%。
• 在 CIFAR-10 上，GraN 的运行时间仅为 LID 的 0.5%，即使未进行显式优化；当启用 LID 的激活缓存时，其运行时间仍低于 LID 的 50%。
• 通过高斯平滑实现的扰动去除步骤能有效校正误分类输入，尤其对传感器噪声类扰动效果显著，并对其他对抗攻击具有良好的泛化能力。
• 随着数据集复杂度的提升，该方法的性能增强，因为复杂数据集中更高维的特征多样性可产生更强的误分类样本梯度信号。