[论文解读] Adversarial Robustness Assessment: Why both $L_0$ and $L_\infty$ Attacks Are Necessary

Shashank Kotyan, Danilo Vargas|arXiv (Cornell University)|Jun 14, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 9

一句话总结

本文提出一种模型无关的双范数鲁棒性评估框架，利用 $L_0$ 和 $L_\infty$ 对抗攻击来评估神经网络的鲁棒性，解决了现有评估方法中的偏差问题。结果表明，不同范数下的鲁棒性表现存在显著差异，并提出一种新型的 $L_\infty$ 黑箱攻击，其扰动量仅为 One-Pixel Attack 的 12%，同时保持了相近的成功率。

ABSTRACT

There exists a vast number of adversarial attacks and defences for machine learning algorithms of various types which makes assessing the robustness of algorithms a daunting task. To make matters worse, there is an intrinsic bias in these adversarial algorithms. Here, we organise the problems faced: a) Model Dependence, b) Insufficient Evaluation, c) False Adversarial Samples, and d) Perturbation Dependent Results). Based on this, we propose a model agnostic dual quality assessment method, together with the concept of robustness levels to tackle them. We validate the dual quality assessment on state-of-the-art neural networks (WideResNet, ResNet, AllConv, DenseNet, NIN, LeNet and CapsNet) as well as adversarial defences for image classification problem. We further show that current networks and defences are vulnerable at all levels of robustness. The proposed robustness assessment reveals that depending on the metric used (i.e., $L_0$ or $L_\infty$), the robustness may vary significantly. Hence, the duality should be taken into account for a correct evaluation. Moreover, a mathematical derivation, as well as a counter-example, suggest that $L_1$ and $L_2$ metrics alone are not sufficient to avoid spurious adversarial samples. Interestingly, the threshold attack of the proposed assessment is a novel $L_\infty$ black-box adversarial method which requires even less perturbation than the One-Pixel Attack (only $12\%$ of One-Pixel Attack's amount of perturbation) to achieve similar results. Code is available at http://bit.ly/DualQualityAssessment.

研究动机与目标

• 解决现有对抗机器学习中因攻击与度量方法存在偏差，导致缺乏模型无关且全面的鲁棒性评估问题。
• 克服现有评估中模型依赖性、评估不足、虚假对抗样本以及依赖扰动大小的结果等问题。
• 提出一种基于 $L_0$ 与 $L_\infty$ 范数的双重评估框架，确保高质量、人类可检测的对抗样本，避免误导性评估。
• 基于阈值 $th$ 定义鲁棒性等级，实现对神经网络及其防御机制在不同扰动幅度下的高效、可扩展评估。
• 在最先进网络与防御方法上验证该框架，结果表明：没有任何模型能同时抵御 $L_0$ 与 $L_\infty$ 攻击。

提出的方法

• 提出一种模型无关、非梯度依赖的黑箱攻击框架，消除模型依赖性，实现对多种架构的评估。
• 提出一种新型 $L_\infty$ 黑箱对抗攻击，采用 CMA-ES 优化方法，不依赖模型梯度或对目标系统的任何假设。
• 通过阈值 $th$ 定义鲁棒性等级，控制最大允许的扰动幅度，实现对不同鲁棒性尺度的系统性评估。
• 采用双重视角评估：使用 $L_0$（少量像素）与 $L_\infty$（阈值）攻击，评估鲁棒性，确保空间分布约束，防止出现不连贯或不可见的对抗样本。
• 应用梯形法则计算对抗准确率随阈值 $th$ 变化的曲线下方面积（AUC），实现模型间的定量比较。
• 利用反例与数学分析表明，仅使用 $L_1$ 与 $L_2$ 度量不足以避免虚假对抗样本。

实验结果

研究问题

• RQ1 为何必须同时使用 $L_0$ 与 $L_\infty$ 对抗攻击来评估鲁棒性，而非仅依赖单一范数？
• RQ2 在不同鲁棒性等级下，当前最先进神经网络与对抗防御方法在双重视角的 $L_0$ 与 $L_\infty$ 黑箱攻击下表现如何？
• RQ3 能否设计一种新型 $L_\infty$ 黑箱攻击，其扰动量显著低于现有方法，同时保持高成功率？
• RQ4 当对抗准确率看似相近时，$L_0$ 与 $L_\infty$ 攻击在相同模型中揭示的脆弱性差异有多大？
• RQ5 在使用鲁棒性等级评估时，不同架构（如 CapsNet、ResNet、LeNet）在 $L_0$ 与 $L_\infty$ 攻击下的鲁棒性表现有何差异？

主要发现

• 所评估的所有神经网络与防御机制均无法同时抵御 $L_0$ 与 $L_\infty$ 攻击，即使在低阈值下也存在广泛脆弱性。
• 所提出的 $L_\infty$ 黑箱攻击仅需 One-Pixel Attack 扰动量的 12%，即可达到相似的对抗成功率。
• 对于 $th=10$ 的 ResNet，$L_0$ 与 $L_\infty$ 攻击的对抗准确率仅相差 2%，但仍有 17% 的测试样本仅能被单一范数成功攻击。
• CapsNet 在 $L_0$ 攻击下表现出最高鲁棒性（表 V 中 AUC 最佳），而 AllConv 在 $L_\infty$ 攻击下表现最佳。
• $L_0$ 与 $L_\infty$ 攻击的 AUC 曲线在不同模型上的缩放特性不同，CapsNet 展现出与其他模型显著不同的鲁棒性特征。
• 双重视角评估框架表明，$L_1$ 与 $L_2$ 度量不足以避免虚假对抗样本，该结论通过数学推导与反例得到验证。