[论文解读] Going Far Boosts Attack Transferability, but Do Not Do It.

Sizhe Chen, Qinghua Tao+2 more|arXiv (Cornell University)|Feb 20, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 5

一句话总结

本文研究了优化算法如何影响深度神经网络中对抗性攻击的迁移性，发现迁移性与原始输入的均方根误差（RMSE）减少程度密切相关。为利用这一发现，作者提出了LARA——一种大型RMSE攻击方法，通过专注于RMSE最小化，使迁移性提升20%，并主张将ℓ∞和RMSE作为公平评估攻击强度的必要指标。

ABSTRACT

Deep Neural Networks (DNNs) could be easily fooled by Adversarial Examples (AEs) with an imperceptible difference to original ones in human eyes. Also, the AEs from attacking one surrogate DNN tend to cheat other black-box DNNs as well, i.e., the attack transferability. Existing works reveal that adopting certain optimization algorithms in attack improves transferability, but the underlying reasons have not been thoroughly studied. In this paper, we investigate the impacts of optimization on attack transferability by comprehensive experiments concerning 7 optimization algorithms, 4 surrogates, and 9 black-box models. Through the thorough empirical analysis from three perspectives, we surprisingly find that the varied transferability of AEs from optimization algorithms is strongly related to the corresponding Root Mean Square Error (RMSE) from their original samples. On such a basis, one could simply approach high transferability by attacking until RMSE decreases, which motives us to propose a LArge RMSE Attack (LARA). Although LARA significantly improves transferability by 20%, it is insufficient to exploit the vulnerability of DNNs, leading to a natural urge that the strength of all attacks should be measured by both the widely used $\ell_\infty$ bound and the RMSE addressed in this paper, so that tricky enhancement of transferability would be avoided.

研究动机与目标

• 理解不同优化算法导致对抗性攻击迁移性差异的潜在原因。
• 研究旨在减少原始输入与对抗样本之间RMSE的优化策略是否与向黑盒模型的更高迁移性相关。
• 提出一种新攻击方法，通过利用RMSE最小化实现更高迁移性，而无需仅依赖传统的ℓ∞约束。
• 倡导在评估对抗性攻击强度时将RMSE作为标准指标与ℓ∞并列，以防止产生误导性的性能声明。

提出的方法

• 作者使用7种优化算法、4个代理模型和9个黑盒目标模型，开展全面实验以评估攻击迁移性。
• 在所有攻击中测量原始样本与对抗样本之间的RMSE，以分析其与迁移性的相关性。
• 基于观察到的RMSE减少与迁移性提升之间的强相关性，设计了LARA（Large RMSE Attack），在攻击过程中显式最大化RMSE减少。
• LARA修改优化目标，优先最小化RMSE而非标准ℓ∞约束，从而生成更具迁移性的对抗扰动。
• 在多种模型架构和数据集上评估该方法，以确保研究发现的泛化性。
• 作者提出一种双指标评估框架，要求同时报告ℓ∞范数和RMSE，以实现公平的攻击基准测试。

实验结果

研究问题

• RQ1 优化算法的选择如何影响对抗样本在不同黑盒模型上的迁移性？
• RQ2 对抗性攻击的迁移性在多大程度上与原始输入和对抗输入之间的均方根误差（RMSE）相关？
• RQ3 我们能否设计一种新攻击策略，通过显式针对RMSE减少来提升迁移性？
• RQ4 为何高RMSE减少会导致更好的迁移性？这对评估攻击强度有何影响？
• RQ5 是否应将RMSE采纳为对抗鲁棒性评估中的标准指标，与ℓ∞并列，以防止对迁移性的误导性声明？

主要发现

• 无论使用何种优化算法，对抗性攻击的迁移性与原始输入图像的RMSE减少程度密切相关。
• 在原始输入上实现更低RMSE值的攻击，始终表现出对未见黑盒模型更高的迁移性。
• 所提出的LARA攻击通过专注于RMSE最小化，相比标准ℓ∞基攻击，使迁移性提升了20%。
• 尽管迁移性显著提升，LARA对目标模型的成功率并未明显增加，表明迁移性本身并不能反映真实的攻击强度。
• 结果表明，仅依赖ℓ∞范数进行评估可能具有误导性，因为它无法捕捉到RMSE减少型攻击所引入的真实漏洞。
• 本研究呼吁采用双指标评估标准，要求同时报告ℓ∞和RMSE，以公平评估对抗性攻击性能，并防止对迁移性的高估。