[论文解读] Learning Black-Box Attackers with Transferable Priors and Query Feedback

Jiancheng Yang, Yangzhou Jiang+3 more|arXiv (Cornell University)|Oct 21, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用 42

一句话总结

本论文推出 LeBA，一种黑盒攻击，它在基于可转移性的步骤与基于查询的步骤之间交替，并通过高阶梯度近似在线学习代理模型，以大幅提升在 ImageNet 防御上的效率和成功率。

ABSTRACT

This paper addresses the challenging black-box adversarial attack problem, where only classification confidence of a victim model is available. Inspired by consistency of visual saliency between different vision models, a surrogate model is expected to improve the attack performance via transferability. By combining transferability-based and query-based black-box attack, we propose a surprisingly simple baseline approach (named SimBA++) using the surrogate model, which significantly outperforms several state-of-the-art methods. Moreover, to efficiently utilize the query feedback, we update the surrogate model in a novel learning scheme, named High-Order Gradient Approximation (HOGA). By constructing a high-order gradient computation graph, we update the surrogate model to approximate the victim model in both forward and backward pass. The SimBA++ and HOGA result in Learnable Black-Box Attack (LeBA), which surpasses previous state of the art by considerable margins: the proposed LeBA significantly reduces queries, while keeping higher attack success rates close to 100% in extensive ImageNet experiments, including attacking vision benchmarks and defensive models. Code is open source at https://github.com/TrustworthyDL/LeBA.

研究动机与目标

• 激发并解决只能访问到受害者模型置信度的黑盒对抗攻击问题。
• 通过将基于可转移性的攻击与基于查询的攻击以及代理模型相结合，开发一个简单而强大的基线（SimBA++）。
• 提出高阶梯度近似（HOGA）以利用有限的查询反馈更新代理模型。
• 提出 LeBA，它学习一个可转移的代理并在大规模基准上以较低的查询次数实现高攻击成功率。
• 展示对防御性模型的鲁棒性并分析代理模型选择和学习策略的影响。

提出的方法

• 引入 SimBA+ 和 SimBA++，利用代理模型引导查询扰动并整合空间先验。
• 在交替框架中将基于可转移性的攻击 TIMI 与基于查询的 SimBA 风格更新结合起来（SimBA++）。
• 提出 LeBA，通过高阶梯度近似（HOGA）利用查询反馈更新可学习的代理模型。
• 定义前向损失和后向损失（FL 和 BL）以及梯度补偿因子，以使代理梯度与受害者梯度对齐。
• 使用查询样本缓冲区和动态代理更新机制以提高效率和可转移性。
• 提供开源实现（LeBA）以便可重复评估。

实验结果

研究问题

• RQ1 在引导的代理模型、受可转移性影响的攻击下，是否可以提升黑盒攻击的效率？
• RQ2 交替进行基于可转移性的攻击和基于查询的攻击，是否比任一单一方法取得更高的成功率？
• RQ3 能够用查询反馈（HOGA）更新的可学习代理模型在多大程度上接近受害者模型，从而进一步减少查询？
• RQ4 代理模型的选择和梯度补偿对 LeBA 在 ImageNet 上对抗强防御的性能有何影响？

主要发现

• LeBA 在 ImageNet 上对多个受害者模型实现接近 100% 的攻击成功率的同时，显著降低了平均查询次数。
• SimBA++ 和 LeBA 在效率和效果方面均超越了以往的最先进黑盒攻击，尤其是在对抗防御模型时。
• 使用学习到的代理（通过 HOGA）对新攻击数据具有迁移性，并在与基于可转移性的攻击结合时提升性能。
• 代理模型的选择（ResNet 变体或 VGG-16）始终比 SimBA++ 提高查询效率，表明 HOGA 对代理选择具有鲁棒性。
• 消融研究表明自适应梯度补偿与前向/后向损失的结合为 LeBA 带来最佳性能。
• 在防御场景（JPEG、去噪、对抗性训练）中，LeBA 保持较高的 ASR，同时查询次数显著低于以往方法。