[论文解读] Fast Gradient Non-sign Methods

Yaya Cheng, Jingkuan Song+4 more|arXiv (Cornell University)|Oct 25, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用 4

一句话总结

本文提出快速梯度非符号方法（FGNM），作为梯度对抗攻击中符号运算的可泛化替代方案，通过基于泰勒展开的优化校正真实梯度与扰动之间的差异，减少方向偏差。FGNM在计算开销可忽略的情况下实现最先进性能，将无目标黑盒攻击成功率最高提升27.5%，对防御模型的有目标攻击平均提升15.1%。

ABSTRACT

Adversarial attacks make their success in DNNs, and among them, gradient-based algorithms become one of the mainstreams. Based on the linearity hypothesis, under $\ell_\infty$ constraint, $sign$ operation applied to the gradients is a good choice for generating perturbations. However, side-effects from such operation exist since it leads to the bias of direction between real gradients and perturbations. In other words, current methods contain a gap between real gradients and actual noises, which leads to biased and inefficient attacks. Therefore in this paper, based on the Taylor expansion, the bias is analyzed theoretically, and the correction of $sign$, i.e., Fast Gradient Non-sign Method (FGNM), is further proposed. Notably, FGNM is a general routine that seamlessly replaces the conventional $sign$ operation in gradient-based attacks with negligible extra computational cost. Extensive experiments demonstrate the effectiveness of our methods. Specifically, for untargeted black-box attacks, ours outperform them by 27.5% at most and 9.5% on average. For targeted attacks against defense models, it is 15.1% and 12.7%. Our anonymous code is publicly available at https://github.com/yaya-cheng/FGNM

研究动机与目标

• 解决在ℓ∞约束下，基于梯度的对抗攻击中符号运算引入的方向偏差问题。
• 通过泰勒展开理论分析符号运算导致的真实梯度与扰动之间差距。
• 提出一种通用、即插即用的方法——快速梯度非符号方法（FGNM），在不增加计算成本的前提下校正该偏差。
• 通过实证验证FGNM在无目标和有目标攻击中的优越性，包括对防御模型的攻击。
• 证明优化后的扰动方向可生成更高效、更有效的对抗样本。

提出的方法

• 该方法利用泰勒展开推导出校正后的扰动方向，以建模符号函数引入的偏差。
• FGNM 用保留符号大小但更贴近真实梯度方向的校正方向，替代标准符号运算。
• 通过两步过程实现校正：首先将扰动方向与真实梯度对齐；其次进行截断以保持ℓ∞范数约束。
• 该方法设计为现有基于梯度攻击的无缝替代方案，仅需极少代码修改。
• 提出两种变体：FGNM N（固定尺度）和FGNM K（自适应尺度），在幅度与方向准确性之间取得平衡。
• 通过避免额外前向传播或复杂优化，保持计算高效性。

实验结果

研究问题

• RQ1 在ℓ∞约束下，符号运算如何在基于梯度的对抗攻击中引入方向偏差？
• RQ2 真实梯度与基于符号的扰动之间的差距在多大程度上降低攻击性能？
• RQ3 基于泰勒展开的校正是否能有效减少该方向偏差，同时保持计算效率？
• RQ4 用校正方向替代符号函数是否能提升无目标和有目标设置下的攻击成功率？
• RQ5 与最先进攻击方法相比，FGNM在防御模型上的表现如何？

主要发现

• 与I-FGSM相比，FGNM N 平均将对抗噪声的ℓ2-范数降低2.1%；与MI-FGSM相比降低11.2%，表明扰动更高效。
• 与I-FGSM相比，FGNM N 的扰动与真实梯度之间的余弦相似度平均提升0.4，证实方向偏差显著降低。
• 在无目标黑盒攻击中，FGNM 相比最先进方法，成功率最高提升27.5%，平均提升9.5%。
• 在防御模型上的有目标攻击中，FGNM 在最大成功率上提升15.1%，在平均成功率上提升12.7%。
• 在迭代第10步时，MI-FGNM N 的截断比例仅为15%，远低于MI-FGSM，表明截断引起的失真更小，方向保持更佳。
• 可视化结果表明，FGNM N 生成的对抗样本几乎与原始样本不可区分；而FGNM K 稍微增加了噪声水平，但未降低不可察觉性。