[论文解读] Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability

Yifeng Xiong, Jiadong Lin+3 more|arXiv (Cornell University)|Nov 21, 2021

Adversarial Robustness in Machine Learning参考文献 36被引用 8

一句话总结

本文提出了一种新型的黑箱对抗攻击方法——随机方差缩减集成攻击（Stochastic Variance Reduced Ensemble, SVRE），通过在迭代优化过程中减少多个模型之间的梯度方差，提升对抗样本的迁移能力。通过将集成攻击建模为一种随机梯度下降过程，并借鉴SVRG的方差缩减思想，SVRE显著提升了对抗迁移性，在ImageNet上的攻击成功率明显高于基线集成方法。

ABSTRACT

The black-box adversarial attack has attracted impressive attention for its practical use in the field of deep learning security. Meanwhile, it is very challenging as there is no access to the network architecture or internal weights of the target model. Based on the hypothesis that if an example remains adversarial for multiple models, then it is more likely to transfer the attack capability to other models, the ensemble-based adversarial attack methods are efficient and widely used for black-box attacks. However, ways of ensemble attack are rather less investigated, and existing ensemble attacks simply fuse the outputs of all the models evenly. In this work, we treat the iterative ensemble attack as a stochastic gradient descent optimization process, in which the variance of the gradients on different models may lead to poor local optima. To this end, we propose a novel attack method called the stochastic variance reduced ensemble (SVRE) attack, which could reduce the gradient variance of the ensemble models and take full advantage of the ensemble attack. Empirical results on the standard ImageNet dataset demonstrate that the proposed method could boost the adversarial transferability and outperforms existing ensemble attacks significantly. Code is available at https://github.com/JHL-HUST/SVRE.

研究动机与目标

• 为解决由于不同模型架构之间梯度方差过高而导致的黑箱攻击中对抗样本迁移能力有限的问题。
• 通过引入方差缩减技术建模优化过程，提升基于集成的对抗攻击的有效性。
• 在生成对抗样本过程中减少对集成模型的过拟合，从而增强其对未知模型的迁移能力。
• 证明梯度方差是影响集成攻击性能的关键因素，但长期以来被忽视。

提出的方法

• SVRE攻击将多个模型的集成视为外层循环中的一个批次，并保持一个平均梯度估计值。
• 在内层循环中，每次迭代随机采样一个模型，以计算方差更低的梯度更新。
• 内层循环通过减去外层循环中该采样模型的平均梯度，获得偏差校正的梯度估计。
• 使用内层循环得到的优化梯度更新外层对抗样本，从而改善收敛性并减少陷入局部最优。
• 该方法可与现有对抗攻击算法（如I-FGSM、MI-FGSM和SI-TI-DIM）集成，提升其迁移能力。
• 通过平衡内层循环更新与外层循环稳定性，避免对集成模型的过拟合，从而增强对未见模型的泛化能力。

实验结果

研究问题

• RQ1 不同模型架构之间的梯度方差在多大程度上影响基于集成的对抗攻击的迁移能力？
• RQ2 来自随机优化的方差缩减技术能否提升黑箱环境下对抗样本的鲁棒性与迁移能力？
• RQ3 在集成攻击中减少梯度方差是否能带来相较于标准集成方法更好的未知目标模型性能？
• RQ4 为最大化SVRE的迁移能力，内部更新频率与步长的最佳配置是什么？

主要发现

• SVRE在ImageNet数据集上显著优于标准集成攻击，实现了更高的黑箱攻击成功率。
• SVRE的最优内层更新频率 $ M $ 约为16，超过此值性能因过拟合而下降。
• 最优内层步长 $ \beta $ 因攻击类型而异，但 $ \beta = 1.6 $ 在多种方法中均表现出优异性能。
• 即使使用九倍的梯度查询次数，标准集成攻击仍无法达到SVRE的性能，证明SVRE的优势源于更优的优化策略，而非单纯查询次数增加。
• SVRE在保持高白盒成功率的同时，显著提升了黑箱迁移能力，表明其有效避免了对集成模型的过拟合。
• 消融实验确认，梯度方差缩减是SVRE实现优越迁移能力的关键因素，而非仅因查询预算增加。