[论文解读] A Geometric Perspective on the Transferability of Adversarial Directions

Zachary Charles, Harrison Rosenberg+1 more|arXiv (Cornell University)|Nov 8, 2018

Adversarial Robustness in Machine Learning参考文献 4被引用 6

一句话总结

本文提出了一种几何理论，解释了为何对抗方向会在线性分类器和两层ReLU网络之间迁移。该理论证明，对于线性分类器，普遍存在对抗方向，且在高概率下可迁移至其他分类器；而ReLU网络的对抗方向可迁移至线性模型，但反之则不然，该结论在MNIST数据上得到了实证验证。

ABSTRACT

State-of-the-art machine learning models frequently misclassify inputs that have been perturbed in an adversarial manner. Adversarial perturbations generated for a given input and a specific classifier often seem to be effective on other inputs and even different classifiers. In other words, adversarial perturbations seem to transfer between different inputs, models, and even different neural network architectures. In this work, we show that in the context of linear classifiers and two-layer ReLU networks, there provably exist directions that give rise to adversarial perturbations for many classifiers and data points simultaneously. We show that these "transferable adversarial directions" are guaranteed to exist for linear separators of a given set, and will exist with high probability for linear classifiers trained on independent sets drawn from the same distribution. We extend our results to large classes of two-layer ReLU networks. We further show that adversarial directions for ReLU networks transfer to linear classifiers while the reverse need not hold, suggesting that adversarial perturbations for more complex models are more likely to transfer to other classifiers. We validate our findings empirically, even for deeper ReLU networks.

研究动机与目标

• 理解对抗迁移性在不同分类器和数据点之间存在的理论基础。
• 识别对抗方向在多个分类器间普遍有效的几何条件。
• 研究ReLU网络与线性分类器之间迁移性的不对称性。
• 基于FGSM生成的对抗样本，在MNIST上实证验证理论发现。

提出的方法

• 对最大间隔SVM进行理论分析，以构建可在不同数据点和分类器间迁移的对抗方向。
• 对线性分类器和两层ReLU网络的决策边界进行几何分析，证明普遍对抗方向的存在性。
• 使用带投影的梯度上升方法结合FGSM生成对抗样本，以实现实证验证。
• 在MNIST上进行实证评估，每类模型使用50,000个对抗样本（SVM与神经网络），覆盖不同ℓ∞范数的扰动。
• 比较分类器在随机扰动、SVM生成和神经网络生成的对抗样本上的准确率，以评估迁移性。
• 分析对抗子空间的交集与方向鲁棒性，以确认理论预测。

实验结果

研究问题

• RQ1 在何种几何条件下，对抗方向可在线性分类器之间迁移，这些分类器在独立数据子集上训练？
• RQ2 对于给定数据集的所有线性分类器，是否存在普遍对抗方向？其与最大间隔分类器的关系如何？
• RQ3 能否证明两层ReLU网络的对抗方向可迁移至同一类的所有线性分类器？
• RQ4 为何迁移性具有不对称性——ReLU网络的对抗方向可迁移至线性模型，但反之不成立？
• RQ5 从复杂模型（如ReLU网络）生成的对抗扰动在多大程度上可迁移至简单模型（如SVM）？

主要发现

• 对于给定数据集的所有线性分类器，普遍存在对抗方向，且其范数仅取决于最大间隔分类器。
• 在同分布下独立数据集上训练的线性分类器，其对抗方向以高概率实现迁移。
• 两层ReLU网络的对抗方向可迁移至所有其他ReLU网络及同一类的所有训练数据。
• ReLU网络的对抗方向可迁移至线性分类器，但反之不成立，表明存在不对称迁移性。
• 实证结果表明，SVM和ReLU网络生成的对抗样本在迁移性上显著优于随机扰动，且ReLU网络生成的对抗样本比SVM生成的更有效地欺骗线性模型。