[论文解读] GeoDA: a geometric framework for black-box adversarial attacks

Ali Rahmati, Seyed-Mohsen Moosavi-Dezfooli+2 more|arXiv (Cornell University)|Mar 13, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 7

一句话总结

GeoDA 提出了一种基于几何框架的查询高效黑盒对抗攻击方法，利用深度神经网络决策边界的低平均曲率特性，以较少查询估计法向量。该方法通过最小化 ℓp-扰动（p ≥ 1）实现最先进性能，理论上可收敛至最小 ℓ2-扰动，并在迭代过程中优化查询分布。

ABSTRACT

Adversarial examples are known as carefully perturbed images fooling image classifiers. We propose a geometric framework to generate adversarial examples in one of the most challenging black-box settings where the adversary can only generate a small number of queries, each of them returning the top-$1$ label of the classifier. Our framework is based on the observation that the decision boundary of deep networks usually has a small mean curvature in the vicinity of data samples. We propose an effective iterative algorithm to generate query-efficient black-box perturbations with small $\ell_p$ norms for $p \ge 1$, which is confirmed via experimental evaluations on state-of-the-art natural image classifiers. Moreover, for $p=2$, we theoretically show that our algorithm actually converges to the minimal $\ell_2$-perturbation when the curvature of the decision boundary is bounded. We also obtain the optimal distribution of the queries over the iterations of the algorithm. Finally, experimental results confirm that our principled black-box attack algorithm performs better than state-of-the-art algorithms as it generates smaller perturbations with a reduced number of queries.

研究动机与目标

• 解决在仅可访问 top-1 标签的最真实黑盒设置下生成对抗样本的挑战。
• 减少生成有效对抗扰动所需的查询次数，这是实际部署中的关键瓶颈。
• 利用数据点附近决策边界的低曲率几何特性，提升查询效率。
• 开发一种原理清晰、数学基础坚实的 ℓp-范数对抗攻击方法（p ≥ 1），尤其针对 ℓ2 情况，并提供收敛性保证。
• 整合先验信息（如迁移性或子空间约束）以进一步提升攻击效率和准确性。

提出的方法

• 通过在边界点周围使用高斯扰动，仅用少量查询估计决策边界的法向量。
• 基于观察结果：在数据样本附近，决策边界的平均曲率较小，从而实现其线性化。
• 制定一种迭代攻击策略，通过沿估计的法向方向向决策边界移动，逐步减小扰动范数。
• 利用理论界优化迭代过程中的查询分布，以最小化期望扰动范数。
• 整合先验知识（如来自替代模型的迁移性或 DCT 子空间约束）以偏向更准确的方向估计法向量。
• 针对 ℓ2 攻击，证明在有界曲率假设下可收敛至最小扰动，为方法的最优性提供理论依据。

实验结果

研究问题

• RQ1 能否利用深度网络决策边界中低曲率的几何特性，以降低黑盒攻击中的查询复杂度？
• RQ2 如何仅通过 top-1 标签反馈，高效估计决策边界的法向量？
• RQ3 在迭代式黑盒攻击中，如何最优分配各次迭代的查询数量，以最小化扰动范数？
• RQ4 能否通过引入迁移性或子空间约束等先验信息，提升法向量估计的准确性并减少查询次数？
• RQ5 在有界曲率假设下，所提出方法是否能收敛至最小 ℓ2-扰动？

主要发现

• 当使用子空间约束时，GeoDA 相较于全空间搜索，将 ℓ2-扰动范数降低了约 27%。
• 与最先进方法（如 Boundary Attack 和 HopSkipJump Attack）相比，该算法在更少查询下实现了更优性能。
• 理论分析表明，对于 ℓ2-扰动，当决策边界曲率有界时，GeoDA 可收敛至最小扰动。
• 通过数学界推导出的最优查询分布，性能优于均匀分布或单次迭代策略。
• 整合迁移性或 DCT 子空间先验信息可显著改善法向量估计，减少所需查询次数。
• σ（高斯扰动方差）的选择需在误分类与边界点精度之间权衡，最优性能在中间值处实现。