[论文解读] Benchmarking Adversarial Robustness

Yinpeng Dong, Qian Fu+5 more|arXiv (Cornell University)|Dec 26, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 21

一句话总结

该论文通过在多种威胁模型下使用两条鲁棒性曲线，建立了图像分类器对抗鲁棒性的全面基准。研究发现，基于PGD的对抗训练能生成最鲁棒的模型，而基于随机化的防御方法在应对黑盒查询攻击时表现最佳，且迁移性在不同模型规模和攻击方法间差异显著。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which becomes one of the most important research problems in the development of deep learning. While a lot of efforts have been made in recent years, it is of great significance to perform correct and complete evaluations of the adversarial attack and defense algorithms. In this paper, we establish a comprehensive, rigorous, and coherent benchmark to evaluate adversarial robustness on image classification tasks. After briefly reviewing plenty of representative attack and defense methods, we perform large-scale experiments with two robustness curves as the fair-minded evaluation criteria to fully understand the performance of these methods. Based on the evaluation results, we draw several important findings and provide insights for future research.

研究动机与目标

• 建立一个严格、全面的基准，用于评估图像分类器的对抗鲁棒性。
• 解决先前对抗鲁棒性研究中评估方法不完整且不一致的局限性。
• 在完整的威胁模型下，包括白盒、基于迁移、基于得分和基于决策的攻击，对最先进攻击与防御方法进行比较。
• 使用鲁棒性曲线在扰动预算和攻击类型上的表现，提供公平且可复现的评估标准。
• 揭示不同防御技术的相对优势及其泛化特性。

提出的方法

• 作者开发了一个新的对抗鲁棒性平台，用于在CIFAR-10和ImageNet上对15种攻击方法和16种防御模型进行大规模、跨模型的评估。
• 采用两条鲁棒性曲线——准确率与扰动预算的关系，以及准确率与攻击强度（查询次数）的关系——作为主要评估指标，以实现公平比较。
• 实验覆盖四类威胁模型：无目标/有目标攻击、ℓ∞和ℓ2范数，以及白盒、基于迁移、基于得分和基于决策的设置。
• 该基准包括多种防御方法，如基于PGD的对抗训练、TRADES、随机化（R&P、RandMix）、输入变换（JPEG、Bit-Red）以及防御蒸馏。
• 所有评估均在完整的威胁模型下进行，即使某些防御方法未宣称在特定设置下具备鲁棒性，以确保全面评估。
• 该平台旨在克服CleverHans和Foolbox等现有工具的局限性，这些工具无法完全支持本基准的规模。

实验结果

研究问题

• RQ1 不同防御方法在不同扰动预算和攻击迭代次数下的鲁棒性如何比较？
• RQ2 一种防御的鲁棒性是否能泛化到不同威胁模型，例如ℓ∞和ℓ2范数，或白盒与黑盒设置？
• RQ3 基于迁移的攻击在ImageNet上的表现与CIFAR-10相比如何？哪些因素影响其迁移性？
• RQ4 为何基于随机化的防御方法在应对基于查询的黑盒攻击时表现更优？
• RQ5 输入变换类防御在多大程度上提升了鲁棒性？它们能否与其他防御类型有效结合？

主要发现

• 不同防御方法之间的相对鲁棒性显著依赖于攻击参数（如扰动预算或迭代次数），因此单一配置下的比较具有误导性。
• 基于PGD的对抗训练生成了最鲁棒的模型，且其鲁棒性可泛化到训练中未使用的威胁模型，例如在ℓ∞设置下训练的模型对ℓ2攻击也表现出鲁棒性。
• 基于随机化的防御方法（如R&P、RandMix）在基于得分和基于决策的黑盒攻击中极为有效，原因在于其不可预测的模型输出可破坏梯度估计。
• 在ImageNet上，近期攻击方法如MIM和DIM在迁移性上优于BIM，可能是因为在高维输入上对替代模型的过拟合程度更低。
• 输入变换类防御（如JPEG和Bit-Red）提供了适度但稳定的鲁棒性增益，尤其在应对基于查询的攻击时表现突出，且实现简单，可与其他防御方法有效结合。
• 对于BIM攻击，对抗样本在CIFAR-10上的迁移性低于在ImageNet上，表明BIM生成的样本可能在较小、低维数据集上对替代模型存在过拟合现象。