[论文解读] Improving the Transferability of Adversarial Examples with the Adam Optimizer.

Heng Yin, Hengwei Zhang+2 more|arXiv (Cornell University)|Dec 1, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出Adam迭代快速梯度法（Adam-IFGSM），将Adam优化算法整合到基于迭代梯度的对抗攻击方法中，以提升对抗样本的迁移性。通过利用自适应学习率和动量，该方法在黑盒设置下对正常训练的ImageNet模型实现了81.9%的攻击成功率，对对抗训练模型实现了38.7%的攻击成功率，优于现有迭代方法。

ABSTRACT

Convolutional neural networks have outperformed humans in image recognition tasks, but they remain vulnerable to attacks from adversarial examples. Since these data are produced by adding imperceptible noise to normal images, their existence poses potential security threats to deep learning systems. Sophisticated adversarial examples with strong attack performance can also be used as a tool to evaluate the robustness of a model. However, the success rate of adversarial attacks remains to be further improved in black-box environments. Therefore, this study combines an improved Adam gradient descent algorithm with the iterative gradient-based attack method. The resulting Adam Iterative Fast Gradient Method is then used to improve the transferability of adversarial examples. Extensive experiments on ImageNet showed that the proposed method offers a higher attack success rate than existing iterative methods. Our best black-box attack achieved a success rate of 81.9% on a normally trained network and 38.7% on an adversarially trained network.

研究动机与目标

• 在模型信息有限的黑盒攻击场景中，提升对抗样本的迁移性。
• 解决现有基于迭代梯度的方法在不同模型间迁移对抗样本时成功率低的问题。
• 通过优化梯度更新动态，提升在标准模型和对抗训练模型上的攻击性能。
• 利用自适应优化技术，开发一种更具鲁棒性和泛化能力的对抗攻击方法。

提出的方法

• 将Adam优化器集成到迭代快速梯度符号法（IFGSM）中，以在生成对抗样本过程中优化梯度更新。
• 利用自适应学习率和动量项，提升对抗扰动空间中的收敛性和探索能力。
• 应用Adam更新规则，以改进方向性和稳定性的方式迭代扰动输入图像。
• 保持IFGSM的迭代特性，同时用基于Adam的更新替换标准SGD更新，以实现更优的梯度利用。
• 采用逐步扰动策略，利用自适应统计量平衡扰动幅度与方向。
• 通过动态调整各参数的学习率，优化扰动隐蔽性与攻击成功率之间的权衡。

实验结果

研究问题

• RQ1 将Adam优化器集成到基于迭代梯度的攻击方法中，能否提升对抗样本在不同模型间的迁移性？
• RQ2 在ImageNet上，Adam-IFGSM方法与标准IFGSM及其他迭代方法相比，攻击成功率如何？
• RQ3 Adam-IFGSM方法在正常训练模型和对抗训练模型上，能在多大程度上保持高性能？
• RQ4 在攻击过程中使用自适应学习率和动量，是否能生成更具鲁棒性和泛化能力的对抗样本？

主要发现

• 在黑盒设置下，Adam-IFGSM方法在正常训练的ImageNet模型上实现了81.9%的攻击成功率，优于现有迭代方法。
• 在对抗训练模型上，该方法实现了38.7%的攻击成功率，表明其对防御训练具有更强的鲁棒性。
• 将Adam整合到迭代攻击框架中，显著提升了对抗样本在多种模型架构间的迁移性。
• Adam中的自适应学习率和动量组件，有助于在扰动生成过程中实现更稳定、更有效的梯度更新。
• 在多个评估设置下，该方法在性能上持续优于标准IFGSM及其他基线迭代方法。
• 结果证实，即使在黑盒场景中，优化策略对对抗样本的迁移性仍具有显著影响。