[论文解读] A geometry-inspired decision-based attack

Yujia Liu, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Mar 26, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

本文提出 qFool，一种查询效率高的基于决策的对抗攻击方法，仅利用模型的 top-1 预测结果，结合对决策边界平坦性的几何洞察，生成对抗样本。该方法显著减少了查询次数——在仅使用 500 次查询的情况下即成功欺骗了 Google Cloud Vision——同时保持了高度的不可察觉性，并在非目标攻击和目标攻击设置下均优于先前方法，尤其在查询受限条件下表现更优。

ABSTRACT

Deep neural networks have recently achieved tremendous success in image classification. Recent studies have however shown that they are easily misled into incorrect classification decisions by adversarial examples. Adversaries can even craft attacks by querying the model in black-box settings, where no information about the model is released except its final decision. Such decision-based attacks usually require lots of queries, while real-world image recognition systems might actually restrict the number of queries. In this paper, we propose qFool, a novel decision-based attack algorithm that can generate adversarial examples using a small number of queries. The qFool method can drastically reduce the number of queries compared to previous decision-based attacks while reaching the same quality of adversarial examples. We also enhance our method by constraining adversarial perturbations in low-frequency subspace, which can make qFool even more computationally efficient. Altogether, we manage to fool commercial image recognition systems with a small number of queries, which demonstrates the actual effectiveness of our new algorithm in practice.

研究动机与目标

• 解决在仅能访问 top-1 标签而无法获取模型梯度或概率的黑盒设置下生成对抗样本的挑战。
• 减少基于决策的攻击所需的查询次数，此类攻击在真实世界系统（如商业 API）中成本较高。
• 通过利用对抗样本附近决策边界的局部平坦性，以最少的查询次数准确估计梯度方向，从而提高效率。
• 通过将扰动限制在低频子空间，进一步降低查询需求，同时不牺牲攻击成功率，从而提升性能。
• 通过在真实世界商业图像分类器（Google Cloud Vision）上以极低查询量成功实施攻击，证明其实际有效性。

提出的方法

• 基于观察到对抗样本附近的决策边界具有局部平坦性，仅使用模型查询返回的 top-1 标签响应，估计决策边界梯度方向。
• 在非目标攻击中，沿估计的梯度方向进行迭代搜索，以最小化扰动并确保分类错误。
• 在目标攻击中，沿决策边界进行多点梯度估计，并利用目标图像引导搜索过程，使其朝向期望类别。
• 通过将扰动投影到低维、低频子空间，引入子空间约束，以降低搜索空间的维度并提高查询效率。
• 采用简单的迭代优化策略，交替进行模型查询与基于标签反馈的扰动更新，避免计算梯度。
• 利用小幅度、低频扰动更有效且更难被检测的特性，从而在查询限制下同时提升不可察觉性与攻击成功率。

实验结果

研究问题

• RQ1 当仅能访问模型的 top-1 预测结果时，能否以极少查询次数生成对抗样本？
• RQ2 对抗样本附近的决策边界几何平坦性如何使我们能够在不依赖模型梯度的情况下高效估计梯度？
• RQ3 将扰动约束在低频子空间在多大程度上能减少成功攻击所需的查询次数？
• RQ4 与现有基于决策的攻击（如 Boundary attack）相比，qFool 在查询效率和对抗扰动质量方面表现如何？
• RQ5 qFool 是否能在有限查询预算下有效欺骗真实世界商业图像识别系统？

主要发现

• 与先前基于决策的攻击相比，qFool 将生成对抗样本所需的查询次数减少了几个数量级，尤其在早期查询阶段效果显著。
• 在非目标攻击中，qFool 以远少于基线方法的查询次数实现了相近的攻击成功率，如查询分布所示，超过 30% 的图像仅需 2 次迭代。
• 在目标攻击中，qFool 的收敛速度优于 Boundary attack 方法，即使在前几千次查询内即找到更小的扰动，尽管在 100,000 次查询后两条曲线交叉。
• 当受限于低频子空间时，qFool 在 VGG-19 上的均方误差（MSE）达到 1.12e-4，而全空间下为 4.40e-4，表明在更少查询下仍能获得更优的扰动质量。
• 在 Google Cloud Vision 上，qFool 仅用 500–1500 次查询即成功误导图像分类，实现不可察觉的扰动（如“旗帜”图像的 MSE = 2.66e-6），证明了其在真实场景下的实用性。
• 原始图像与目标图像在像素空间中的距离与所需查询次数无相关性，表明特征空间相似性比空间邻近性更具预测力。