[论文解读] Breaking Transferability of Adversarial Samples with Randomness

Yan Zhou, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|May 11, 2018

Adversarial Robustness in Machine Learning参考文献 38被引用 15

一句话总结

本文提出两种基于随机化的防御方法，以打破深度神经网络（DNNs）中对抗性攻击的迁移性。通过在推理时从预训练的DNN模型池中随机选择模型，或向模型权重添加微小高斯噪声，该方法显著提升了鲁棒性——在不需微调的情况下，鲁棒性最高提升74.2%，优于不同攻击预算下的集成对抗训练。

ABSTRACT

We investigate the role of transferability of adversarial attacks in the observed vulnerabilities of Deep Neural Networks (DNNs). We demonstrate that introducing randomness to the DNN models is sufficient to defeat adversarial attacks, given that the adversary does not have an unlimited attack budget. Instead of making one specific DNN model robust to perfect knowledge attacks (a.k.a, white box attacks), creating randomness within an army of DNNs completely eliminates the possibility of perfect knowledge acquisition, resulting in a significantly more robust DNN ensemble against the strongest form of attacks. We also show that when the adversary has an unlimited budget of data perturbation, all defensive techniques would eventually break down as the budget increases. Therefore, it is important to understand the game saddle point where the adversary would not further pursue this endeavor. Furthermore, we explore the relationship between attack severity and decision boundary robustness in the version space. We empirically demonstrate that by simply adding a small Gaussian random noise to the learned weights, a DNN model can increase its resilience to adversarial attacks by as much as 74.2%. More importantly, we show that by randomly activating/revealing a model from a pool of pre-trained DNNs at each query request, we can put a tremendous strain on the adversary's attack strategies. We compare our randomization techniques to the Ensemble Adversarial Training technique and show that our randomization techniques are superior under different attack budget constraints.

研究动机与目标

• 挑战对抗迁移性在DNN中固有且不可避免的假设。
• 研究DNN的版本空间中决策边界鲁棒性与攻击严重性之间的相互作用。
• 开发实用且计算高效的防御方法，以在不需完整微调的情况下破坏对抗迁移性。
• 在不同攻击预算下评估随机化技术的有效性，特别是在黑盒设置中。
• 将所提方法与集成对抗训练进行比较，并在受限扰动预算下展示其更优的鲁棒性。

提出的方法

• 在每次推理查询时，从100个预训练模型的池中随机选择一个DNN，以使攻击者无法获知用于预测的模型。
• 向单个DNN的已学习权重中引入微小的高斯随机噪声，以增强其对对抗性扰动的鲁棒性。
• 采用动态集成策略，使预测集成（$E_p$）与攻击集成（$E_a$）不同，从而破坏迁移性。
• 使用$L_2$-范数的定向与非定向对抗攻击，在CIFAR-10、MNIST和Traffic Sign数据集上评估鲁棒性。
• 在不同攻击置信度（$Conf$）下，与静态集成、随机集成及标准集成对抗训练进行性能比较。
• 优化噪声标准差（$x$），以在干净数据上的准确率与对抗攻击下的鲁棒性之间取得平衡。

实验结果

研究问题

• RQ1 对模型选择或模型权重进行随机化，能否有效打破不同DNN之间对抗样本的迁移性？
• RQ2 对抗性扰动的严重性（攻击预算）如何影响DNN中迁移性的成功率？
• RQ3 与固定或静态集成相比，在推理时随机化所使用的DNN是否能显著提升鲁棒性？
• RQ4 仅通过权重随机化是否足以提供强防御，而无需集成训练或在对抗数据上微调？
• RQ5 在不同攻击置信度下，基于随机化的防御方法与集成对抗训练相比表现如何？

主要发现

• 向DNN权重中添加微小高斯噪声，在低预算攻击下对干净数据的对抗攻击鲁棒性最高提升74.2%。
• 在每次查询时从100个模型的池中随机选择DNN，显著降低了基于迁移性的攻击成功率，尤其在$Conf=0$时效果更明显。
• 动态集成策略（$E_p \neq E_a$）显著优于静态集成（$E_p = E_a$），即使在高扰动预算下也能保持准确率。
• 在高置信度攻击（$Conf \geq 5$）下，权重随机化（$x > 0$）显著提升了鲁棒性，而标准集成因弱组件失效而失败。
• MNIST数据集对随机化表现出最高鲁棒性，其次是CIFAR-10，而Traffic Sign数据集受影响最小，因其差异熵较低。
• 没有任何防御技术能完全抵抗无限扰动预算的攻击，证实迁移性受攻击严重性限制，而非固有模型设计。