[论文解读] Diversity can be Transferred: Output Diversification for White- and Black-box Attacks

Yusuke Tashiro, Yang Song+1 more|arXiv (Cornell University)|Mar 15, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用 45

一句话总结

提出Output Diversified Sampling (ODS)，是一种基于梯度的采样策略，旨在最大化模型输出的多样性，以同时提升白盒和黑盒对抗攻击的效果，并通过代理模型实现可迁移性。

ABSTRACT

Adversarial attacks often involve random perturbations of the inputs drawn from uniform or Gaussian distributions, e.g., to initialize optimization-based white-box attacks or generate update directions in black-box attacks. These simple perturbations, however, could be sub-optimal as they are agnostic to the model being attacked. To improve the efficiency of these attacks, we propose Output Diversified Sampling (ODS), a novel sampling strategy that attempts to maximize diversity in the target model's outputs among the generated samples. While ODS is a gradient-based strategy, the diversity offered by ODS is transferable and can be helpful for both white-box and black-box attacks via surrogate models. Empirically, we demonstrate that ODS significantly improves the performance of existing white-box and black-box attacks. In particular, ODS reduces the number of queries needed for state-of-the-art black-box attacks on ImageNet by a factor of two.

研究动机与目标

• 说明在对抗攻击中需要比输入空间随机采样更具输出多样性的扰动。
• 提出Output Diversified Sampling (ODS)，以最大化目标模型输出的多样性。
• 证明ODS可以通过代理模型实现可迁移性，并提高白盒和黑盒攻击的效率。
• 在标准数据集和模型上展示攻击有效性和查询效率的经验性改进。

提出的方法

• 将ODS扰动方向v_ODS(x,f,w_d)定义为相对于x的w_d^T f(x)的归一化梯度。
• 在 white-box 设置中，使用 ODI（Initialization with ODI）通过在ε-球内最大化 w_d^T (f(x)-f(x_org)) 来生成多样化的起始点。
• 在黑盒设置中，对代理模型应用ODS以为诸如SimBA和边界攻击等攻击生成更新方向。
• 证明输入扰动的多样性可以转化为输出空间的多样性，并且基于代理模型的ODS可以将这种多样性转移到目标模型。
• 与天真随机初始化和标准基线进行比较，以展示更高的多样性和效率。

实验结果

研究问题

• RQ1 沿着输出导向梯度扰动输入是否会比随机输入空间扰动产生更具多样性和更有效的对抗起点？
• RQ2 在代理模型上创建的ODS多样化扰动是否能将多样性转移到目标黑盒模型？
• RQ3 在ℓ∞和ℓ2范数下，使用 ODI 增强的白盒攻击性能与最先进攻击相比如何？
• RQ4 将ODS与基于代理模型的黑盒攻击结合是否能降低查询次数和扰动大小？
• RQ5 在代理模型以分布外数据训练时，ODS是否仍然有效？

主要发现

• ODS在白盒设置下对ℓ∞和ℓ2攻击都提高了攻击有效性。
• 结合ODS的ODI相比均匀初始化产生更具多样性的起始点，在CIFAR-10和ImageNet实验中减少了所需的扰动。
• ODS应用于代理模型显著降低了ImageNet上基于分数的攻击的查询次数（大约减少一半）。
• 将ODS与代理模型结合时，改善了基于决策和基于分数的黑盒攻击，在查询效率和扰动大小方面优于若干最先进方法。
• 即使代理在分布外数据上训练，ODS仍然有效，提升对代理数据质量的鲁棒性。