[论文解读] Adversarial Attack Generation Empowered by Min-Max Optimization

Jingkang Wang, Tianyun Zhang+5 more|arXiv (Cornell University)|Jun 9, 2019

Adversarial Robustness in Machine Learning参考文献 66被引用 10

一句话总结

本文提出了一种极小-极大优化框架，统一并改进了在多个领域（包括模型集成、通用扰动和数据变换下的鲁棒攻击）中的对抗性攻击生成。通过将最坏情况攻击损失最小化表述为在概率单纯形上的领域权重的极小-极大问题，该方法实现了更高的攻击成功率——在CIFAR-10上相较于PGD分别提升了17.48%、35.21%和9.39%——同时实现了自解释性的领域重要性加权。

ABSTRACT

The worst-case training principle that minimizes the maximal adversarial loss, also known as adversarial training (AT), has shown to be a state-of-the-art approach for enhancing adversarial robustness. Nevertheless, min-max optimization beyond the purpose of AT has not been rigorously explored in the adversarial context. In this paper, we show how a general framework of min-max optimization over multiple domains can be leveraged to advance the design of different types of adversarial attacks. In particular, given a set of risk sources, minimizing the worst-case attack loss can be reformulated as a min-max problem by introducing domain weights that are maximized over the probability simplex of the domain set. We showcase this unified framework in three attack generation problems -- attacking model ensembles, devising universal perturbation under multiple inputs, and crafting attacks resilient to data transformations. Extensive experiments demonstrate that our approach leads to substantial attack improvement over the existing heuristic strategies as well as robustness improvement over state-of-the-art defense methods trained to be robust against multiple perturbation types. Furthermore, we find that the self-adjusted domain weights learned from our min-max framework can provide a holistic tool to explain the difficulty level of attack across domains. Code is available at https://github.com/wangjksjtu/minmax-adv.

研究动机与目标

• 解决对抗训练之外的对抗性攻击生成中系统性极小-极大优化的缺失问题。
• 将多种攻击类型——模型集成攻击、通用扰动和变换鲁棒攻击——统一在单一极小-极大优化框架下。
• 克服在多领域设置中性能下降的启发式加权策略（如均匀平均）。
• 提供可解释的领域权重，反映攻击不同领域相对难度。
• 将框架扩展至防御，通过多种扰动类型的广义对抗训练提升鲁棒性。

提出的方法

• 将最坏情况攻击损失最小化表述为极小-极大问题，其中最大化操作在概率单纯形约束的领域权重上进行。
• 引入一种交替一步投影梯度下降-上升（APGDA）算法，以高效求解极小-极大问题。
• 在攻击生成过程中端到端学习领域权重，使模型能够自动识别最具挑战性的领域。
• 将该框架应用于三种攻击类型：攻击模型集成、在多个输入上生成通用扰动，以及构建对数据变换具有鲁棒性的攻击。
• 将领域权重机制适配至广义对抗训练，提升对多种扰动类型的鲁棒性。
• 理论收敛性分析表明，APGDA的收敛速率为O(1/T)，其中T为迭代次数。

实验结果

研究问题

• RQ1 能否有效利用对抗训练之外的极小-极大优化来改进对抗性攻击生成？
• RQ2 如何设计一个统一框架，以处理如模型集成、通用扰动和变换鲁棒攻击等多样化的对抗性攻击场景？
• RQ3 可学习的领域权重能否提供关于攻击不同领域相对难度的可解释洞察？
• RQ4 在多领域攻击场景中，所提出的极小-极大框架是否优于启发式加权策略？
• RQ5 该领域权重机制能否扩展至广义对抗训练，以提升防御鲁棒性？

主要发现

• 所提出的APGDA方法在CIFAR-10上的模型集成攻击中，相较于标准PGD，攻击成功率提高了17.48%。
• 在多张图像的通用扰动攻击中，该方法相较于基线PGD，攻击成功率提升了35.21%。
• 在数据变换鲁棒攻击中，该方法相较于传统PGD，攻击成功率提高了9.39%。
• 学习到的领域权重准确反映了攻击不同输入的难度，对更鲁棒或更难攻击的图像分配了更高的权重。
• 当该框架被适配至广义对抗训练时，可实现更优的防御性能，优于针对多种扰动类型的最先进防御方法。
• 可视化结果证实，领域权重为不同扰动范数下的图像鲁棒性提供了整体且可解释的度量。