[论文解读] Potential adversarial samples for white-box attacks

Amir Nazemi, Paul Fieguth|arXiv (Cornell University)|Dec 13, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用 16

一句话总结

该论文提出了一种低成本、白盒方法，通过利用在深度神经网络特征上训练的SVM的支持向量，识别潜在的对抗性样本。该方法显著缩小了对抗性攻击的搜索空间——在CIFAR10上覆盖了82%的iFGSM和92%的DeepFool对抗性样本，同时仅使用61%的测试数据作为候选样本。

ABSTRACT

Deep convolutional neural networks can be highly vulnerable to small perturbations of their inputs, potentially a major issue or limitation on system robustness when using deep networks as classifiers. In this paper we propose a low-cost method to explore marginal sample data near trained classifier decision boundaries, thus identifying potential adversarial samples. By finding such adversarial samples it is possible to reduce the search space of adversarial attack algorithms while keeping a reasonable successful perturbation rate. In our developed strategy, the potential adversarial samples represent only 61% of the test data, but in fact cover more than 82% of the adversarial samples produced by iFGSM and 92% of the adversarial samples successfully perturbed by DeepFool on CIFAR10.

研究动机与目标

• 通过仅将搜索空间缩小到最脆弱的样本，降低对抗性攻击算法的计算成本。
• 识别位于决策边界附近的样本，因为这些样本最容易因微小扰动而发生误分类。
• 通过聚焦于SVM支持向量识别的高风险样本进行对抗性训练，提升模型鲁棒性。
• 评估基于SVM的候选选择在覆盖iFGSM和DeepFool生成的对抗性样本方面的有效性。
• 证明通过SVM识别的边缘样本可作为白盒攻击场景中高风险输入的代理。

提出的方法

• 在预训练的DCNN（如VGG19或LeNet）提取的特征上训练SVM，以识别位于决策边界附近的样本。
• 将SVM的支持向量用作潜在对抗性样本的代理，因为它们距离决策边界最近。
• 仅将支持向量选为后续对抗性攻击算法的缩减搜索空间。
• 在缩减后的数据集上应用iFGSM和DeepFool攻击，以评估覆盖范围和成功率。
• 调整SVM的正则化参数C，以控制支持向量的数量，并在覆盖范围和搜索空间大小之间取得平衡。
• 在iFGSM中使用L∞-范数有界扰动，在DeepFool中使用自适应步长，以生成对抗性样本用于比较。

实验结果

研究问题

• RQ1 SVM支持向量能否有效识别出已训练DCNN决策边界的样本？
• RQ2 基于SVM的候选集在多大程度上能缩小对抗性攻击的搜索空间，同时保持对成功对抗性样本的高覆盖？
• RQ3 当限制在SVM支持向量上时，iFGSM与DeepFool在对抗性样本覆盖上的差异如何？
• RQ4 支持向量的数量（由C控制）是否与不同攻击参数下对抗性样本的覆盖范围相关？
• RQ5 该方法是否可用于通过在高风险样本上进行针对性微调，来提升模型的对抗鲁棒性？

主要发现

• 所提方法将CIFAR10测试集的对抗性搜索空间缩小至仅61%，同时覆盖了92%的DeepFool生成的对抗性样本。
• 对于iFGSM，该方法在CIFAR10上实现了82%的对抗性样本覆盖，即使在较小的扰动大小（ε = 0.01）下也成立。
• 当ε = 0.05时，iFGSM共找到4,819个对抗性样本，其中4,291个被SVM候选集覆盖（C = 0.035时）。
• DeepFool的覆盖度随迭代次数增加和δ值增大而提升，但即使在δ = 0.01时，候选集仍覆盖了3,376个对抗性样本中的3,667个。
• 该方法在MNIST和CIFAR10上均表现良好，由于CIFAR10具有更复杂的特征空间和更深的VGG19架构，其覆盖度更高。
• 支持向量数量随C减小而增加，但即使在向量数量较少时（如C = 500），覆盖度依然保持较高水平——表明该方法具有高效性和可扩展性。