[论文解读] A Survey of Black-Box Adversarial Attacks on Computer Vision Models

Siddhant Bhambri, Sumanyu Muku+2 more|arXiv (Cornell University)|Dec 3, 2019

Adversarial Robustness in Machine Learning参考文献 81被引用 23

一句话总结

本综述对计算机视觉中的黑盒对抗攻击与防御技术进行了全面的对比分析，按查询效率、扰动类型和威胁模型对攻击方法进行分类。研究发现，像ZOO和Bandit方法这样的查询高效攻击在极少查询下即可实现高成功率；而像素偏移（pixel deflection）和随机化等防御方法在ImageNet上表现出较强的泛化能力和鲁棒性，但大多数防御方法仍易受自适应攻击的影响。

ABSTRACT

Machine learning has seen tremendous advances in the past few years, which has lead to deep learning models being deployed in varied applications of day-to-day life. Attacks on such models using perturbations, particularly in real-life scenarios, pose a severe challenge to their applicability, pushing research into the direction which aims to enhance the robustness of these models. After the introduction of these perturbations by Szegedy et al. [1], significant amount of research has focused on the reliability of such models, primarily in two aspects - white-box, where the adversary has access to the targeted model and related parameters; and the black-box, which resembles a real-life scenario with the adversary having almost no knowledge of the model to be attacked. To provide a comprehensive security cover, it is essential to identify, study, and build defenses against such attacks. Hence, in this paper, we propose to present a comprehensive comparative study of various black-box adversarial attacks and defense techniques.

研究动机与目标

• 为计算机视觉中的黑盒对抗攻击提供系统性的分类体系，将其与白盒威胁区分开来。
• 基于查询效率、扰动类型和威胁模型约束，分析并比较各类黑盒攻击策略的有效性。
• 评估现有防御机制对黑盒攻击的应对能力，重点关注其鲁棒性、准确率保持能力以及在MNIST、CIFAR-10和ImageNet等数据集上的泛化能力。
• 指出防御评估中的差距：大多数技术仅在白盒攻击下测试，而非真实世界中的黑盒场景。
• 识别未来研究方向，包括非鲁棒特征的检测以及针对对抗误分类的针对性利用。

提出的方法

• 将黑盒攻击分类为基于查询、梯度估计和迁移式方法，重点强调查询效率和扰动约束。
• 根据威胁模型的组成部分对攻击进行分类：攻击者目标（如定向攻击、完整性破坏）和能力（如查询限制、模型访问权限）。
• 使用攻击成功率、有无防御下的分类准确率，以及不同扰动范数（L2、L∞）下的鲁棒性等指标评估防御技术。
• 在MNIST、CIFAR-10和ImageNet数据集上，对比对抗训练、蒸馏、MagNet、像素偏移和随机化等防御方法。
• 采用标准化基准测试：FGSM、PGD、C&W、DeepFool和JSMA攻击，并使用固定超参数（如L∞的ϵ=8，L2的ϵ=0.03）以确保公平比较。
• 通过攻击成功率和准确率下降率分析性能，数据来源于引用文献中的已发表结果（如Xu、Guo、Prakash、Xie等）。

实验结果

研究问题

• RQ1 在标准数据集上，不同黑盒攻击策略在查询效率和攻击成功率方面如何比较？
• RQ2 对抗训练、蒸馏和像素偏移等防御机制对多样化黑盒攻击类型的相对鲁棒性如何？
• RQ3 为何大多数现有防御方法在真实黑盒威胁模型下评估时表现不佳，尽管其在白盒测试中表现强劲？
• RQ4 防御技术在提升对对抗扰动的鲁棒性的同时，能在多大程度上保持模型的原始准确率？
• RQ5 能否系统性地识别非鲁棒特征，并利用其设计更高效或更隐蔽的黑盒攻击？

主要发现

• Prakash等人提出的像素偏移方法在CIFAR-10上实现了无防御时100%的分类准确率和9.7%的攻击成功率，展现出极强的泛化能力和鲁棒性。
• 在ImageNet上，所有防御方法的平均攻击成功率显著高于MNIST或CIFAR-10，表明大规模数据集更具脆弱性。
• MagNet和Xu的中值平滑方法在CIFAR-10上将FGSM和I-FGSM的攻击成功率降至0%，但仅在特定扰动范数下成立。
• Xie等人（2018）的防御方法在无防御时达到98.9%的准确率，FGSM攻击下的攻击成功率为18.5%，在准确率与鲁棒性之间实现了良好平衡。
• 大多数防御方法在面对自适应黑盒攻击时性能显著下降，表明其在真实世界应用中存在关键缺陷。
• 本研究指出，当前防御方法主要在白盒攻击下进行评估，暗示未来工作需加强黑盒环境下的严格评估。