[论文解读] Query-Efficient Black-box Adversarial Examples

Andrew Ilyas, Logan Engstrom+2 more|arXiv (Cornell University)|Dec 19, 2017

Adversarial Robustness in Machine Learning被引用 25

一句话总结

本文提出了一种基于自然演化策略的查询高效黑盒对抗攻击方法，并设计了一种新型算法，用于在部分信息设置下的定向攻击。该方法将查询使用量减少了2至3个数量级，并首次在实际约束条件下成功实现了对Google Cloud Vision API的定向攻击。

ABSTRACT

Current neural network-based image classifiers are susceptible to adversarial examples, even in the black-box setting, where the attacker is limited to query access without access to gradients. Previous methods --- substitute networks and coordinate-based finite-difference methods --- are either unreliable or query-inefficient, making these methods impractical for certain problems. We introduce a new method for reliably generating adversarial examples under more restricted, practical black-box threat models. First, we apply natural evolution strategies to perform black-box attacks using two to three orders of magnitude fewer queries than previous methods. Second, we introduce a new algorithm to perform targeted adversarial attacks in the partial-information setting, where the attacker only has access to a limited number of target classes. Using these techniques, we successfully perform the first targeted adversarial attack against a commercially deployed machine learning system, the Google Cloud Vision API, in the partial information setting.

研究动机与目标

• 解决现有黑盒对抗攻击方法因查询成本过高或不可靠而导致的不切实际问题。
• 在受限查询访问和有限目标类别信息的条件下，开发一种稳健的黑盒攻击策略。
• 在仅可观测部分类别的情况下，实现部分信息设置下的定向对抗攻击。
• 通过显著降低与先前方法相比的查询需求，实现实际可应用性。
• 通过成功攻击商业机器学习系统（Google Cloud Vision API），证明其在现实世界中的可行性。

提出的方法

• 利用自然演化策略（NES）在无梯度信息的情况下优化对抗扰动，从而实现对输入空间的高效探索。
• 使用NES实现黑盒攻击，其查询次数远少于替代网络或有限差分方法。
• 设计一种新算法，专门用于在仅能访问有限数量目标类别时执行定向攻击。
• 利用部分信息设置，引导搜索朝向特定目标类别，同时最小化查询开销。
• 结合自适应采样与基于置信度的选择策略，提升低信息环境下的收敛速度与成功率。
• 通过利用目标模型的查询反馈，迭代优化扰动生成过程。

实验结果

研究问题

• RQ1 自然演化策略能否有效适应以降低黑盒对抗攻击中的查询复杂度？
• RQ2 当仅能部分访问模型输出类别时，如何执行定向对抗攻击？
• RQ3 在实际黑盒威胁模型下，可靠生成定向对抗样本所需的最少查询次数是多少？
• RQ4 查询高效的方法能否成功攻击现实世界中商业部署的机器学习系统（如Google Cloud Vision API）？
• RQ5 与现有的替代网络和基于坐标的有限差分方法相比，所提方法在查询效率和成功率方面表现如何？

主要发现

• 与先前的黑盒攻击方法相比，所提方法将查询使用量减少了两到三个数量级。
• 该方法成功实现了在仅可观测部分类别的部分信息设置下的定向对抗攻击。
• 在现实黑盒约束条件下，首次实现了对Google Cloud Vision API的已知定向攻击。
• 使用自然演化策略使得在无梯度访问的情况下，能够可靠且高效地优化对抗扰动。
• 即使在反馈有限的环境下，该算法仍保持高成功率，展现出在低信息环境下的鲁棒性。
• 在查询效率和可靠性方面，该方法优于替代网络和有限差分方法。