[论文解读] Distributionally Adversarial Attack

Tianhang Zheng, Changyou Chen+1 more|arXiv (Cornell University)|Aug 16, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用 11

一句话总结

本文提出分布对抗攻击（DAA），一种新颖的一阶 $L_∞$ 对抗攻击方法，其在数据分布空间而非单个样本上进行优化，利用 Wasserstein 梯度流生成全局最优、相互关联的扰动。DAA 在最先进的对抗训练模型上优于 PGD，在 MadryLab 的秘密 MNIST 模型上实现了 88.79% 的攻击成功率（$epsilon=0.3$），在 CIFAR-10 上实现了 44.71% 的成功率（$epsilon=8.0$），在 MIT MadryLab 的白盒排行榜上排名第一。

ABSTRACT

Recent work on adversarial attack has shown that Projected Gradient Descent (PGD) Adversary is a universal first-order adversary, and the classifier adversarially trained by PGD is robust against a wide range of first-order attacks. It is worth noting that the original objective of an attack/defense model relies on a data distribution $p(\mathbf{x})$, typically in the form of risk maximization/minimization, e.g., $\max/\min\mathbb{E}_{p(\mathbf(x))}\mathcal{L}(\mathbf{x})$ with $p(\mathbf{x})$ some unknown data distribution and $\mathcal{L}(\cdot)$ a loss function. However, since PGD generates attack samples independently for each data sample based on $\mathcal{L}(\cdot)$, the procedure does not necessarily lead to good generalization in terms of risk optimization. In this paper, we achieve the goal by proposing distributionally adversarial attack (DAA), a framework to solve an optimal {\em adversarial-data distribution}, a perturbed distribution that satisfies the $L_\infty$ constraint but deviates from the original data distribution to increase the generalization risk maximally. Algorithmically, DAA performs optimization on the space of potential data distributions, which introduces direct dependency between all data points when generating adversarial samples. DAA is evaluated by attacking state-of-the-art defense models, including the adversarially-trained models provided by {\em MIT MadryLab}. Notably, DAA ranks {\em the first place} on MadryLab's white-box leaderboards, reducing the accuracy of their secret MNIST model to $88.79\%$ (with $l_\infty$ perturbations of $ε= 0.3$) and the accuracy of their secret CIFAR model to $44.71\%$ (with $l_\infty$ perturbations of $ε= 8.0$). Code for the experiments is released on \url{https://github.com/tianzheng4/Distributionally-Adversarial-Attack}.

研究动机与目标

• 为解决 PGD 等一阶对抗攻击方法的局限性，这些方法对每个样本独立生成扰动，缺乏全局风险优化。
• 开发一种基于原理的、分布级别的对抗攻击框架，通过在概率测度上进行优化，最大化泛化风险。
• 通过生成更有效、全局一致的扰动，改进对抗训练模型的鲁棒性评估。
• 证明分布优化视角可产生强于标准 PGD 的攻击效果，即使在对一阶方法具有鲁棒性的模型上亦如此。

提出的方法

• DAA 将攻击建模为在概率测度空间上的优化问题，旨在寻找一个最大化泛化风险的对抗性数据分布，且满足 $L_\infty$ 约束。
• 它采用 Wasserstein 梯度流（WGFs）来演化数据分布，其中能量泛函被设计为反映数据流形并契合模型的损失目标。
• 该方法使用测试数据的粒子近似来估计真实数据流形，从而将分布级优化转化为实际可行的算法。
• 由此产生的算法生成的对抗样本在批量内显式相互依赖，与 PGD 每个样本独立扰动的方式不同。
• 实现了两种变体：DAA-BLOB（使用基于损失的能量泛函）和 DAA-DGF（使用基于数据梯度流的能量泛函）。
• 该框架使用标准基准进行评估，并与 PGD 和动量 PGD 在 MNIST、FMNIST、CIFAR-10 和 ImageNet 上的鲁棒模型进行了比较。

实验结果

研究问题

• RQ1 一种在数据分布空间上进行优化的对抗攻击，是否能在鲁棒性评估方面优于标准的一阶攻击方法如 PGD？
• RQ2 分布级优化方法是否能生成更有效、更具全局一致性的扰动，使其泛化能力优于逐样本的 PGD？
• RQ3 Wasserstein 梯度流框架是否可有效适配以在 $L_\infty$ 约束下生成更强的对抗攻击？
• RQ4 DAA 在最先进的对抗训练模型上的表现如何，特别是对那些被认为对一阶攻击具有鲁棒性的模型？
• RQ5 所提出的分布式攻击框架是否在基于 PGD 的对抗训练模型上优于现有方法？

主要发现

• DAA 在 MIT MadryLab 的白盒排行榜上取得了最高攻击成功率，将该机构的秘密 MNIST 模型准确率降低至 88.79%（$epsilon=0.3$ $L_\infty$ 扰动）。
• 在秘密 CIFAR-10 模型上，DAA 将准确率降低至 44.71%（$epsilon=8.0$ $L_\infty$ 扰动），优于排行榜上列出的所有其他攻击方法。
• 在单次运行中，DAA 将 MadryLab 的 MNIST 模型准确率降低至 90.5%（PGD 为 92.5%），表明其攻击强度更优。
• 在 FMNIST 上，DAA 将对抗训练模型的准确率降低至 67.6%（PGD 为 71.5%），p 值分别为 0.0 和 3e-27，具有统计显著性。
• 在 ImageNet 上，DAA 仅使用 $2/255$ $L_\infty$ 扰动，便将一个集成的对抗训练 Inception ResNet-v2 模型准确率降低至 16.43%，远低于 Rand+FGSM 的 70%。
• DAA 经过 50 次随机重启后，在公开 MNIST 上达到 88.7%，在秘密 MNIST 上达到 88.79%，始终优于 PGD 和动量 PGD。