[论文解读] Composite Adversarial Attacks

Xiaofeng Mao, Yuefeng Chen+4 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出复合对抗攻击（CAA），一种使用多目标NSGA-II遗传算法自动搜索基线对抗攻击算法及其超参数最优序列的自动化方法。CAA在$l_{\infty}$、$l_2$和无限制设置下，于11种不同的防御方法上实现了最先进（SOTA）的攻击成功率，优于10种顶级攻击方法，且速度比AutoAttack快6倍。

ABSTRACT

Adversarial attack is a technique for deceiving Machine Learning (ML) models, which provides a way to evaluate the adversarial robustness. In practice, attack algorithms are artificially selected and tuned by human experts to break a ML system. However, manual selection of attackers tends to be sub-optimal, leading to a mistakenly assessment of model security. In this paper, a new procedure called Composite Adversarial Attack (CAA) is proposed for automatically searching the best combination of attack algorithms and their hyper-parameters from a candidate pool of extbf{32 base attackers}. We design a search space where attack policy is represented as an attacking sequence, i.e., the output of the previous attacker is used as the initialization input for successors. Multi-objective NSGA-II genetic algorithm is adopted for finding the strongest attack policy with minimum complexity. The experimental result shows CAA beats 10 top attackers on 11 diverse defenses with less elapsed time ( extbf{6 $ imes$ faster than AutoAttack}), and achieves the new state-of-the-art on $l_{\infty}$, $l_{2}$ and unrestricted adversarial attacks.

研究动机与目标

• 为解决当前对抗攻击选择中次优且依赖人工的问题，该问题可能导致对模型鲁棒性的错误评估。
• 自动化搜索最强劲的攻击算法与超参数组合，以提升攻击效果。
• 开发一种通用攻击框架，通过攻击的序列组合，能够表示单个攻击、集成攻击以及复合策略。
• 在包括使用$l_{\infty}$、$l_2$和无限制扰动的多种防御方法中，减少攻击时间的同时最大化攻击成功率。
• 评估所学攻击策略在不同模型和防御方法之间的可迁移性，确保其超越特定架构的泛化能力。

提出的方法

• CAA将攻击策略表示为一系列基线攻击器的序列，其中前一个攻击器的输出作为下一个攻击器的输入，从而实现对抗样本的逐步优化。
• 搜索空间包括32种基线攻击器的排列组合，每种攻击器具有可调超参数：扰动幅度$\epsilon$和迭代次数$t$。
• 采用多目标NSGA-II遗传算法，同时优化两个目标：最大化攻击成功率和最小化计算复杂度（梯度评估次数）。
• 该方法支持直接在目标模型上进行攻击策略搜索（CAA_dic），也支持用于跨模型泛化的可迁移策略学习（CAA_sub）。
• 身份攻击（无扰动）被作为特殊情况包含在内，使得CAA能够将单个攻击和集成攻击表示为复合策略的特例。
• 该方法通过利用早期攻击器生成靠近决策边界的样本，使后续攻击更有效，从而实现攻击效果的逐步提升。

实验结果

研究问题

• RQ1 在成功率和效率方面，对攻击序列和超参数进行自动化搜索，是否能优于人工选择或调优的攻击方法？
• RQ2 通过将前序攻击的输出作为输入进行序列化组合攻击，是否能产生比集成或单个攻击更强的对抗样本？
• RQ3 在某一模型或数据集上学习到的攻击策略，能否有效迁移到其他模型和防御方法上？
• RQ4 攻击序列长度（即组合攻击器的数量）如何影响整体攻击性能？
• RQ5 在攻击成功率与搜索成本之间，随机搜索、贝叶斯优化、强化学习与NSGA-II这四种优化策略中，哪一种能取得最佳权衡？

主要发现

• CAA在11种不同防御方法上，于$l_{\infty}$、$l_2$和无限制对抗攻击设置下均达到新的最先进水平，超越了10种顶级攻击方法。
• CAA比AutoAttack快6倍，在显著降低计算成本的同时实现了更高的攻击成功率。
• 攻击成功率随策略长度增加而提升，尤其在无限制设置下，当序列长度超过3时性能急剧下降，表明对序列组成高度敏感。
• NSGA-II在攻击成功率和搜索效率两方面均优于随机搜索、贝叶斯优化和强化学习，在仅使用3个GPU天的搜索时间下，实现了49.18%的鲁棒准确率。
• 在CIFAR-10上学习的CAA_sub策略在多种模型架构（ResNet、VGG、Inception）上表现出强迁移能力，表明其在不同模型和任务间具有良好的泛化能力。
• 该方法通过利用序列组合中的互补机制，避免依赖单一攻击，有效缓解了梯度遮蔽风险。