[论文解读] A Black-box Attack on Neural Networks Based on Swarm Evolutionary Algorithm

Xiaolei Liu, Yuheng Luo+2 more|arXiv (Cornell University)|Jan 26, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用 5

一句话总结

本文提出BANA，一种基于群体演化算法的神经网络黑箱对抗攻击方法，无需梯度或模型架构知识即可生成扰动。该方法在MNIST和CIFAR-10数据集上实现100%攻击成功率，平均L2扰动小于2，成功绕过防御蒸馏，并由于内在随机性生成多样化、不重复的对抗样本。

ABSTRACT

Neural networks play an increasingly important role in the field of machine learning and are included in many applications in society. Unfortunately, neural networks suffer from adversarial samples generated to attack them. However, most of the generation approaches either assume that the attacker has full knowledge of the neural network model or are limited by the type of attacked model. In this paper, we propose a new approach that generates a black-box attack to neural networks based on the swarm evolutionary algorithm. Benefiting from the improvements in the technology and theoretical characteristics of evolutionary algorithms, our approach has the advantages of effectiveness, black-box attack, generality, and randomness. Our experimental results show that both the MNIST images and the CIFAR-10 images can be perturbed to successful generate a black-box attack with 100\% probability on average. In addition, the proposed attack, which is successful on distilled neural networks with almost 100\% probability, is resistant to defensive distillation. The experimental results also indicate that the robustness of the artificial intelligence algorithm is related to the complexity of the model and the data set. In addition, we find that the adversarial samples to some extent reproduce the characteristics of the sample data learned by the neural network model.

研究动机与目标

• 开发一种无需访问模型梯度、权重或架构的黑箱对抗攻击。
• 生成高质量、难以察觉的对抗样本，适用于多种深度学习模型，包括DNN和CNN。
• 克服现有攻击方法依赖梯度信息或可迁移性假设的局限性。
• 评估对防御蒸馏这一主流防御机制的鲁棒性。
• 探究模型复杂度、数据集复杂度与对抗鲁棒性之间的关系。

提出的方法

• 攻击利用群体演化算法（SEA）优化扰动，将每个扰动视为种群中的个体，适应度定义为误分类成功率。
• 适应度评估通过向目标模型发起黑箱查询完成，无需计算梯度或了解模型结构。
• 该算法采用全局与局部搜索、自适应突变及拥挤选择等机制，以提升收敛性与多样性。
• 扰动通过迭代演化，以最小化L2距离并最大化目标攻击或非目标攻击的误分类概率。
• 该方法可泛化至多种架构，包括ResNet、DenseNet及蒸馏模型。
• 演化过程中的随机性确保同一输入在不同运行中生成不同的对抗样本，从而增强对防御机制的规避能力。

实验结果

研究问题

• RQ1 能否构建一种不依赖梯度信息或模型架构的黑箱对抗攻击？
• RQ2 基于群体的演化算法能否在多种模型上生成高成功率、低感知度的对抗样本？
• RQ3 所提出的攻击对防御蒸馏这一已知鲁棒性机制的有效性如何？
• RQ4 模型复杂度、数据集复杂度与对抗鲁棒性之间存在何种关系？
• RQ5 对抗扰动是否反映模型决策边界的特征学习情况？

主要发现

• 所提出的BANA攻击在MNIST和CIFAR-10数据集上对非目标攻击与目标攻击均实现100%成功率。
• MNIST上平均L2扰动大小小于1.26，CIFAR-10上低于2，表明扰动极小且难以察觉。
• 该攻击在蒸馏模型上仍保持99.89%的成功率，证明其对防御蒸馏具有强抗性。
• 由于群体算法的随机性，BANA在不同运行中生成的对抗样本具有多样性，显著提升逃避防御的能力。
• 模型的鲁棒性受模型复杂度与数据集复杂度的共同影响，复杂度越高的模型对对抗攻击表现出更强的抵抗能力。
• 目标攻击中扰动模式在视觉上与源类别和目标类别的特征对齐，表明对抗样本反映了模型所学习的数据特征。