[论文解读] Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints

Maura Pintor, Fabio Roli+2 more|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用 14

一句话总结

本文提出了一种快速最小范数（FMN）对抗攻击方法，通过在优化过程中自适应调整扰动约束大小，高效地在 ℓ₀、ℓ₁、ℓ₂ 和 ℓ∞ 范数下找到最小扰动。FMN 以更少且轻量化的步骤实现收敛，在速度和扰动大小方面优于现有方法，同时保持高精度，且无需对抗初始化或超参数调优。

ABSTRACT

Evaluating adversarial robustness amounts to finding the minimum perturbation needed to have an input sample misclassified. The inherent complexity of the underlying optimization requires current gradient-based attacks to be carefully tuned, initialized, and possibly executed for many computationally-demanding iterations, even if specialized to a given perturbation model. In this work, we overcome these limitations by proposing a fast minimum-norm (FMN) attack that works with different $\ell_p$-norm perturbation models ($p=0, 1, 2, \infty$), is robust to hyperparameter choices, does not require adversarial starting points, and converges within few lightweight steps. It works by iteratively finding the sample misclassified with maximum confidence within an $\ell_p$-norm constraint of size $ε$, while adapting $ε$ to minimize the distance of the current sample to the decision boundary. Extensive experiments show that FMN significantly outperforms existing attacks in terms of convergence speed and computation time, while reporting comparable or even smaller perturbation sizes.

研究动机与目标

• 为解决现有最小范数对抗攻击方法在效率和敏感性方面的不足，这些方法通常需要大量调参、多次迭代或对抗初始化。
• 开发一种统一、快速且鲁棒的攻击方法，适用于不同 ℓₚ-范数约束（p=0,1,2,∞），同时不牺牲扰动质量。
• 在保持或提升所找到最小扰动大小的前提下，降低计算成本和收敛时间，相比最先进方法更具优势。
• 通过提供一种多功能、快速且稳定的攻击方法，实现更可靠和自适应的鲁棒性评估，该方法可轻松扩展至新防御机制。

提出的方法

• FMN 迭代执行两个步骤：(1) 将当前扰动投影到当前 ℓₚ-范数约束大小为 ε 的范围内，以最大化误分类置信度；(2) 自适应调整 ε 以最小化到决策边界的距离。
• 该算法使用基于梯度的更新来估计局部模型行为，并在当前 ε 约束下计算最优扰动。
• 通过在后续迭代中动态减小 ε，使解逐步逼近最小范数对抗样本，从而避免对权衡超参数的依赖。
• 该方法设计为与初始对抗点无关，可从干净输入出发实现鲁棒收敛。
• 通过将固定 ℓ₂ 约束替换为自适应 ℓₚ 投影，将 DDN 攻击推广至多种 ℓₚ 范数。
• 该方法结合了投影梯度法的速度优势与边界追踪策略的最优性，实现了高效率与高精度。

实验结果

研究问题

• RQ1 能否设计一种最小范数对抗攻击方法，在无需对抗初始化的前提下，同时在多种 ℓₚ 范数下实现快速且高效？
• RQ2 与固定 ε 或软约束方法相比，自适应调整约束大小在收敛速度和扰动质量方面有何改进？
• RQ3 FMN 在最小扰动大小、计算时间以及对超参数选择的鲁棒性方面，相比现有攻击方法有多大的性能优势？
• RQ4 FMN 能否有效应用于表现出梯度遮蔽特性的鲁棒模型？在该类设置下，其性能与最先进攻击方法相比如何？

主要发现

• 与现有 ℓ₀、ℓ₁ 和 ℓ∞-范数攻击相比，FMN 实现了显著更快的收敛速度和更低的计算时间，单次查询的运行时间最多减少 3 倍。
• 在所有测试的 ℓₚ 范数下，包括 ℓ₂ 和 ℓ∞，FMN 找到的最小扰动与最先进方法相比更小或相当，即使在鲁棒模型上也表现优异。
• 该攻击对超参数选择具有鲁棒性，且无需对抗初始化，显著提升了可靠性与可用性。
• 与软约束攻击（如 CW）及边界攻击（如 BB 和 FAB）相比，FMN 在更少的迭代次数内实现收敛，同时保持高精度。
• 在 ℓ₂-范数攻击中，FMN 表现与最佳现有方法相当，展现出在这一广泛应用场景下的强大竞争力。
• 该方法易于扩展至新防御机制，得益于其动态且类似 PGD 的结构，支持自适应鲁棒性评估。