[论文解读] Boosting Adversarial Transferability through Enhanced Momentum

Xiaosen Wang, Jiadong Lin+3 more|arXiv (Cornell University)|Mar 19, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 27

一句话总结

作者提出 EMI-FGSM，一种增强的动量迭代 FGSM，还对当前点周围的梯度进行采样以提升对抗性转移性，在先前的基于动量的方法上取得显著提升，并在输入变换和集成攻击下表现良好。

ABSTRACT

Deep learning models are known to be vulnerable to adversarial examples crafted by adding human-imperceptible perturbations on benign images. Many existing adversarial attack methods have achieved great white-box attack performance, but exhibit low transferability when attacking other models. Various momentum iterative gradient-based methods are shown to be effective to improve the adversarial transferability. In what follows, we propose an enhanced momentum iterative gradient-based method to further enhance the adversarial transferability. Specifically, instead of only accumulating the gradient during the iterative process, we additionally accumulate the average gradient of the data points sampled in the gradient direction of the previous iteration so as to stabilize the update direction and escape from poor local maxima. Extensive experiments on the standard ImageNet dataset demonstrate that our method could improve the adversarial transferability of momentum-based methods by a large margin of 11.1% on average. Moreover, by incorporating with various input transformation methods, the adversarial transferability could be further improved significantly. We also attack several extra advanced defense models under the ensemble-model setting, and the enhancements are remarkable with at least 7.8% on average.

研究动机与目标

• 激励并解决面对未见模型时白盒对抗性攻击的有限转移性的问题。
• 开发一种增强的基于动量的攻击，聚合来自邻近样本的梯度以稳定更新。
• 将增强的动量与输入变换和集成模型策略相结合，以提升转移性。
• 在 ImageNet 上证明其有效性，包括对抗高级防御模型，并分析参数选择。

提出的方法

• 提出 EMI-FGSM，它在迭代过程中累积梯度，并在上一轮梯度方向上对 N 个采样的邻近数据点的梯度进行聚合。
• 定义 bar{x}_t^{adv}[i] = x_t^{adv} + c_i * bar{g}_{t-1}，并将 bar{g}_t 计算为这些 bar{x}_t^{adv}[i] 上梯度的平均值。
• 将动量更新为 g_t = μ * g_{t-1} + bar{g}_t / ||bar{g}_t||_1，并应用 x_{t+1}^{adv} = x_t^{adv} + α * sign(g_t)。
• 提出 EMI-DTS，将 EMI-FGSM 与输入变换集合（DIM、TIM、SIM，以及它们的组合 DTS）结合。
• 探索采样策略（线性、均匀、高斯）并消融参数，如采样间隔 eta 和样本数 N。

实验结果

研究问题

• RQ1 如何在现有基于动量的方法之外，使基于梯度的对抗攻击在跨模型上具有更高的可转移性？
• RQ2 在前一轮梯度方向对多个邻近数据点进行采样是否能提高转移性？
• RQ3 是否可以将 EMI-FGSM 有效地与输入变换和集成模型攻击集成，以提升对抗防御下的黑盒性能？

主要发现

• EMI-FGSM 在白盒和黑盒设置下均优于 MI-FGSM 和 NI-FGSM，平均转移性相比 NI-FGSM 提升约 11.1%。
• 将 EMI-FGSM 与输入变换（DIM、TIM、SIM）以及集成模型攻击结合，可获得显著的转移性提升，包括高水平的白盒和黑盒性能。
• 在集成模型设置下，EMI-DTS 对七个先进防御模型的平均攻击成功率为 86.6%，比之前的方法提升 7.8%。
• 与 PI-FGSM 相比，EMI-FGSM 在普通训练模型上转移性高出 10.5–12.5%，在对抗性训练模型上高出 4.4–5.4%。
• 消融研究表明线性采样表现略佳；典型设置包括 N=11 个样本和 eta=7。