[论文解读] Boosting the Transferability of Adversarial Attacks with Global Momentum Initialization

Jiafeng Wang, Zhaoyu Chen+6 more|arXiv (Cornell University)|Nov 21, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出全局动量初始化（GI），通过抑制梯度消除并实现在预收敛阶段的全局搜索，从而提升对抗性攻击的迁移性。通过在主攻击前进行高步长梯度预收敛，GI 改进了动量方向的质量，实现了对先进防御机制的平均 95.4% 攻击成功率——比当前最先进方法高出 6.4%。

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial examples, which are crafted by adding human-imperceptible perturbations to the benign inputs. Simultaneously, adversarial examples exhibit transferability across models, enabling practical black-box attacks. However, existing methods are still incapable of achieving the desired transfer attack performance. In this work, focusing on gradient optimization and consistency, we analyse the gradient elimination phenomenon as well as the local momentum optimum dilemma. To tackle these challenges, we introduce Global Momentum Initialization (GI), providing global momentum knowledge to mitigate gradient elimination. Specifically, we perform gradient pre-convergence before the attack and a global search during this stage. GI seamlessly integrates with existing transfer methods, significantly improving the success rate of transfer attacks by an average of 6.4% under various advanced defense mechanisms compared to the state-of-the-art method. Ultimately, GI demonstrates strong transferability in both image and video attack domains. Particularly, when attacking advanced defense methods in the image domain, it achieves an average attack success rate of 95.4%. The code is available at $\href{https://github.com/Omenzychen/Global-Momentum-Initialization}{https://github.com/Omenzychen/Global-Momentum-Initialization}$.

研究动机与目标

• 探究尽管广泛使用，基于动量的对抗性攻击为何仍无法实现最优迁移性。
• 识别并解决基于动量优化中的梯度消除现象，即前向梯度与反向梯度之间的一致性丧失问题。
• 克服因小步长限制搜索范围而引发的迭代攻击中陷入局部最优的困境。
• 在强防御机制下提升迁移攻击的成功率，尤其是在黑盒设置中。
• 开发一种即插即用的方法，兼容现有基于梯度的攻击框架，提升全局搜索能力与动量收敛质量。

提出的方法

• 提出全局动量初始化（GI），通过高步长更新在主攻击前进行梯度预收敛，以加速动量收敛。
• 在预收敛阶段采用全局搜索策略，探索更广泛的数据分布，避免陷入局部最优。
• 通过确保预收敛期间的前向梯度与反向梯度保持一致，有效抑制梯度消除，提升攻击方向质量。
• 通过用预收敛的、全局感知的动量替代原有方法（如 MI-FGSM 和 NI-FGSM）的初始动量计算，将 GI 集成到现有攻击方法中。
• 引入搜索放大因子 S，用于缩放预收敛阶段的步长，从而在初始化阶段实现对损失曲面更广泛的探索。
• 在 CT-FGSM 框架中将 GI 与输入变换（如 DIM、TIM、SIM）结合，进一步提升在多样化模型与防御机制下的迁移性。

实验结果

研究问题

• RQ1 为何基于动量的对抗性攻击即便使用梯度累积，仍存在较低的迁移性？
• RQ2 前向与反向传播之间梯度不一致——特别是梯度消除——在多大程度上降低了攻击性能？
• RQ3 在迭代攻击中，步长受限如何限制搜索空间，并导致在局部极小值处出现次优收敛？
• RQ4 通过高步长更新进行预收敛，是否能改善主攻击前的动量方向质量并增强全局搜索能力？
• RQ5 GI 在多大程度上可泛化并集成到现有迁移攻击方法中，以在强防御机制下提升成功率？

主要发现

• 所提出的全局动量初始化（GI）方法在九种先进防御机制上实现了平均 95.4% 的攻击成功率，显著优于此前 SOTA 的 89%。
• GI 在平均成功率上较当前最先进方法提升 6.4%，不同防御方法下的增益范围为 6.4% 至 9.0%。
• 消融实验表明，预收敛迭代数 P=5 且全局搜索因子 S=10 时性能最优，兼顾了速度与成功率。
• 该方法有效抑制了梯度消除，表现为预收敛阶段前向与反向梯度之间的余弦相似度显著提升。
• GI 通过扩展初始动量方向，实现了更有效的全局搜索，降低了陷入局部最优的可能性。
• 该方法具有高度兼容性，可轻松集成到大多数现有基于梯度的攻击框架中，包括 MI-FGSM、NI-FGSM 及其带输入变换的变体。