[论文解读] Defending Against Adversarial Attacks by Suppressing the Largest Eigenvalue of Fisher Information Matrix

Chaomin Shen, Yaxin Peng+2 more|arXiv (Cornell University)|Sep 13, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 10

一句话总结

本文通过在损失函数中添加正则化项，抑制Fisher信息矩阵（FIM）的最大特征值，提出了一种针对对抗攻击的新防御方法。通过限制FIM的最大特征值，该方法降低了模型对微小输入扰动的敏感性，显著提升了鲁棒性，且仅需一次微调训练即可实现，无需额外重训练，同时在多种网络架构和数据集上保持了较高的干净样本准确率。

ABSTRACT

We propose a scheme for defending against adversarial attacks by suppressing the largest eigenvalue of the Fisher information matrix (FIM). Our starting point is one explanation on the rationale of adversarial examples. Based on the idea of the difference between a benign sample and its adversarial example is measured by the Euclidean norm, while the difference between their classification probability densities at the last (softmax) layer of the network could be measured by the Kullback-Leibler (KL) divergence, the explanation shows that the output difference is a quadratic form of the input difference. If the eigenvalue of this quadratic form (a.k.a. FIM) is large, the output difference becomes large even when the input difference is small, which explains the adversarial phenomenon. This makes the adversarial defense possible by controlling the eigenvalues of the FIM. Our solution is adding one term representing the trace of the FIM to the loss function of the original network, as the largest eigenvalue is bounded by the trace. Our defensive scheme is verified by experiments using a variety of common attacking methods on typical deep neural networks, e.g. LeNet, VGG and ResNet, with datasets MNIST, CIFAR-10, and German Traffic Sign Recognition Benchmark (GTSRB). Our new network, after adopting the novel loss function and retraining, has an effective and robust defensive capability, as it decreases the fooling ratio of the generated adversarial examples, and remains the classification accuracy of the original network.

研究动机与目标

• 为解决深度神经网络对对抗样本的脆弱性问题，其根源在于决策边界的高曲率。
• 探究控制Fisher信息矩阵（FIM）最大特征值是否能提升对对抗攻击的鲁棒性。
• 开发一种简单、可解释且有效的防御机制，仅需一次重训练步骤。
• 证明抑制FIM的最大特征值可降低各类攻击类型和网络架构下对抗样本的欺骗率。
• 提供一种理论基础坚实的替代方案，相较于标签平滑等现有防御方法，具有明确的信息几何数学基础。

提出的方法

• 将基于Fisher信息矩阵（FIM）迹的正则化项引入原始网络的损失函数，从而对最大特征值施加上界。
• 利用最大特征值由FIM迹上界决定的数学关系，实现对最大特征值的间接控制。
• 通过输出概率分布之间的KL散度推导出与FIM迹成比例的项，并将其添加到标准交叉熵损失中。
• 使用修改后的损失函数对网络进行一次重训练，以引入对抗鲁棒性，且无需改变网络结构。
• 利用良性样本与对抗样本输出差异为FIM相关二次型的性质，其中最大特征值决定了对输入扰动的敏感度。
• 采用单步谱攻击（OSSA）作为基准攻击方法，利用FIM的主导特征向量生成对抗样本以验证防御效果。

实验结果

研究问题

• RQ1 抑制FIM的最大特征值是否能降低模型对微小输入扰动的敏感性，从而提升对对抗攻击的鲁棒性？
• RQ2 与标签平滑等现有方法相比，该防御在鲁棒性和可解释性方面表现如何？
• RQ3 该防御是否在保持高干净样本准确率的同时，显著降低多种攻击类型和数据集上的欺骗率？
• RQ4 该防御是否可泛化至黑盒攻击场景，即对抗样本从源模型迁移至目标模型？
• RQ5 该防御是否对白盒和黑盒攻击均有效，包括迭代式和单步攻击方法？

主要发现

• 所提防御方法在MNIST、CIFAR-10和GTSRB上，对FGSM、BIM、DeepFool、CW和JSMA等所有测试攻击方法，均显著降低了对抗样本的欺骗率。
• 在MNIST数据集上使用LeNet时，原始模型下对抗样本的平均$l_{\backslash infty}$距离从0.107提升至0.170，表明鲁棒性增强。
• 对于单步谱攻击（OSSA），在$\varepsilon=1.0$时，防御模型无法生成任何对抗样本，展现出极强的抗性。
• 在跨模型黑盒测试中，防御模型在原始模型生成的对抗样本上达到97.47%的准确率，而原始网络准确率为0%。
• 该方法在所有距离度量指标上均优于原始模型，距离比在1:1.3至1:1.8之间，表明鲁棒性显著提升。
• 该防御在保持高干净样本准确率（如MNIST上FGSM攻击下为97.47%）的同时显著提升了鲁棒性，表明准确率与防御之间无权衡关系。