[论文解读] Improving Adversarial Transferability with Gradient Refining

Guoqiu Wang, Huanqian Yan+2 more|arXiv (Cornell University)|May 11, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用 5

一句话总结

本论文提出Gradient Refining方法，通过校正输入多样性变换过程中引入的负梯度，提升对抗样本的迁移性。通过聚合并优化来自多个变换输入的梯度，该方法在SOTA方法基础上平均提升6.0%的攻击成功率，在单模型设置下于ImageNet上达到82.07%的迁移成功率。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which are crafted by adding human-imperceptible perturbations to original images. Most existing adversarial attack methods achieve nearly 100% attack success rates under the white-box setting, but only achieve relatively low attack success rates under the black-box setting. To improve the transferability of adversarial examples for the black-box setting, several methods have been proposed, e.g., input diversity, translation-invariant attack, and momentum-based attack. In this paper, we propose a method named Gradient Refining, which can further improve the adversarial transferability by correcting useless gradients introduced by input diversity through multiple transformations. Our method is generally applicable to many gradient-based attack methods combined with input diversity. Extensive experiments are conducted on the ImageNet dataset and our method can achieve an average transfer success rate of 82.07% for three different models under single-model setting, which outperforms the other state-of-the-art methods by a large margin of 6.0% averagely. And we have applied the proposed method to the competition CVPR 2021 Unrestricted Adversarial Attacks on ImageNet organized by Alibaba and won the second place in attack success rates among 1558 teams.

研究动机与目标

• 解决白盒对抗攻击在黑盒设置中因过拟合于源模型而导致的迁移性低下问题。
• 缓解输入多样性中随机变换带来的负面影响，这些变换可能引入无用或适得其反的梯度信号。
• 在无需架构修改的前提下，提升对抗样本在多样化模型间的鲁棒性与迁移性。
• 开发一种可扩展、即插即用的方法，兼容现有的基于梯度的攻击框架，如FGSM、PGD和基于动量的攻击。

提出的方法

• 对单张输入图像应用多种随机、可微分的变换，生成多样化的输入模式。
• 使用源模型为每个变换后的输入计算梯度，捕捉正负梯度信号。
• 聚合所有变换输入的梯度，并应用一种精炼机制，以抑制负梯度分量。
• 通过加权平均或方向校正过程，结合正信号并抵消负信号，对最终梯度进行精炼。
• 将精炼后的梯度集成到标准的迭代攻击算法（如FGSM、PGD）中，生成更具迁移性的扰动。
• 使用校正次数参数（n）控制变换数量与梯度精炼次数，以在性能与计算成本之间取得平衡。

实验结果

研究问题

• RQ1 Gradient Refining能否有效减轻对抗攻击生成过程中随机变换在输入多样性中带来的负面影响？
• RQ2 与基线方法相比，Gradient Refining在不同模型间的迁移性提升程度如何？
• RQ3 将Gradient Refining与动量或平移不变攻击结合后，整体攻击成功率有何变化？
• RQ4 在提升迁移性的同时，该方法是否保持或改善了对抗样本的感知质量（如LPIPS）？
• RQ5 该方法是否可在无需架构修改的前提下，泛化至多种攻击框架？

主要发现

• 所提出的R-DTMI-FGSM方法在单模型设置下，于三个模型上平均实现82.07%的迁移成功率，较基线DTMI-FGSM提升5.93个百分点。
• 在CVPR 2021年ImageNet无限制对抗攻击竞赛中，该方法在1,558支队伍中排名第二，攻击成功率最高。
• 消融实验表明，将校正次数从1增加到11可提升迁移成功率，且在11次以上时趋于饱和。
• 可视化结果表明，该方法生成的对抗扰动在保持高迁移性的同时，具有更好的不可察觉性（LPIPS更低）。
• 该方法在多种攻击基线（包括DI-FGSM、DTI-FGSM和DTMI-FGSM）上均一致提升迁移成功率，平均提升6.0%。
• 在集成模型设置下，精炼方法（R-DTMI-FGSM）保持了强劲性能，展现出对模型多样性的鲁棒性及更强的泛化能力。