[论文解读] Interpreting Adversarial Robustness: A View from Decision Surface in Input Space

Fuxun Yu, Chenchen Liu+3 more|arXiv (Cornell University)|Sep 29, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用 19

一句话总结

本文提出了一种基于输入空间决策面几何结构的新型对抗鲁棒性指标，表明平坦且平滑的决策边界与鲁棒性存在强相关性。通过在训练过程中正则化雅可比矩阵以使这些表面变平，该方法在不进行对抗训练的情况下增强了内在鲁棒性，在ℓ∞=3攻击下于CIFAR10上实现了与Min-Max训练相当的性能，且训练开销显著降低。

ABSTRACT

One popular hypothesis of neural network generalization is that the flat local minima of loss surface in parameter space leads to good generalization. However, we demonstrate that loss surface in parameter space has no obvious relationship with generalization, especially under adversarial settings. Through visualizing decision surfaces in both parameter space and input space, we instead show that the geometry property of decision surface in input space correlates well with the adversarial robustness. We then propose an adversarial robustness indicator, which can evaluate a neural network's intrinsic robustness property without testing its accuracy under adversarial attacks. Guided by it, we further propose our robust training method. Without involving adversarial training, our method could enhance network's intrinsic adversarial robustness against various adversarial attacks.

研究动机与目标

• 挑战传统观点，即参数空间中的平坦极小值可预测泛化与鲁棒性，尤其是在对抗设置下。
• 识别输入空间中决策面的几何特性作为比参数空间损失曲面平坦性更可靠的对抗鲁棒性指标。
• 基于雅可比矩阵与海森矩阵特征值开发一种鲁棒性指标，量化内在鲁棒性，且无需依赖对抗测试。
• 设计一种基于该指标的鲁棒训练方法，通过梯度正则化提升对抗鲁棒性，避免生成昂贵的对抗样本。

提出的方法

• 通过输入空间中插值方向的二维投影可视化输入空间中的决策面，与传统的参数空间损失曲面可视化形成对比。
• 基于决策面的几何特性（特别是雅可比矩阵与海森矩阵的特征值）定义鲁棒性指标，以量化内在鲁棒性。
• 提出一种训练目标，通过正则化雅可比矩阵的ℓ1范数来使决策面变平，从而通过更平滑的输入空间几何结构提升鲁棒性。
• 使用泰勒近似建模输入附近的局部行为，实现在不生成对抗样本的情况下基于梯度的正则化。
• 将该方法应用于标准数据集（MNIST、CIFAR10），对比自然训练、对抗训练与所提出的梯度正则化训练。
• 通过决策面可视化与雅可比矩阵图验证方法，显示鲁棒模型的敏感性降低且局部邻域更平坦。

实验结果

研究问题

• RQ1 输入空间中决策面的几何结构是否比参数空间损失曲面的平坦性与对抗鲁棒性有更强的相关性？
• RQ2 FGSM、PGD与C&W等多样化对抗攻击方法是否共享某种共同的几何机制？
• RQ3 基于雅可比矩阵与海森矩阵特征值的鲁棒性指标能否在不使用对抗样本测试的情况下预测对抗鲁棒性？
• RQ4 训练过程中的梯度正则化能否在不生成对抗样本的情况下提升对抗鲁棒性？
• RQ5 与最先进对抗训练方法相比，该方法在鲁棒性与训练效率方面表现如何？

主要发现

• 在对抗噪声下，输入空间中的决策面表现出显著的非光滑性，而参数空间的损失曲面仍保持平坦，表明参数空间平坦性无法有效预测鲁棒性。
• 对抗攻击利用决策面的几何特性——具体而言，通过利用局部曲率与梯度方向，寻找最短路径穿越决策边界。
• 所提出的基于雅可比矩阵与海森矩阵特征值的鲁棒性指标，无需对抗测试即可有效预测内在鲁棒性。
• 所提出的梯度正则化方法使雅可比矩阵的ℓ1范数相比自然模型降低10倍，海森矩阵降低3倍，从而实现更平坦的决策面。
• 在ℓ∞=3的CIFAR10上，该方法实现了与Min-Max对抗训练（约40%准确率）相当的鲁棒性，但每轮训练时间仅为2.1倍，避免了对抗数据增强带来的10倍开销。
• 当ℓ∞范数增大时，该方法性能下降，表明其局限性源于泰勒近似在更大邻域内有效性的限制。