[论文解读] Fast and Reliable Evaluation of Adversarial Robustness with Minimum-Margin Attack

Ruize Gao, Jiongxiao Wang+6 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出最小边际（Minimum-Margin, MM）攻击，一种快速且可靠的对抗鲁棒性评估方法，其性能与AutoAttack（AA）相当，但计算成本仅为AA的3%。该方法利用最小边际准则识别最具对抗性的样本，并采用顺序目标排序选择（Sequential Target Ranking Selection, STARS）策略，确保计算效率与类别数量无关。

ABSTRACT

The AutoAttack (AA) has been the most reliable method to evaluate adversarial robustness when considerable computational resources are available. However, the high computational cost (e.g., 100 times more than that of the project gradient descent attack) makes AA infeasible for practitioners with limited computational resources, and also hinders applications of AA in the adversarial training (AT). In this paper, we propose a novel method, minimum-margin (MM) attack, to fast and reliably evaluate adversarial robustness. Compared with AA, our method achieves comparable performance but only costs 3% of the computational time in extensive experiments. The reliability of our method lies in that we evaluate the quality of adversarial examples using the margin between two targets that can precisely identify the most adversarial example. The computational efficiency of our method lies in an effective Sequential TArget Ranking Selection (STARS) method, ensuring that the cost of the MM attack is independent of the number of classes. The MM attack opens a new way for evaluating adversarial robustness and provides a feasible and reliable way to generate high-quality adversarial examples in AT.

研究动机与目标

• 为解决当前对抗鲁棒性评估金标准AutoAttack（AA）的高计算成本问题，该问题限制了其在资源受限环境中的应用。
• 开发一种方法，在不依赖昂贵攻击集成的情况下，仍能可靠识别最具对抗性的样本。
• 通过降低生成高质量对抗样本的时间成本，实现高效集成到对抗训练（Adversarial Training, AT）中。
• 为实践者提供一个可扩展的对抗鲁棒性评估基准，兼具准确性与计算可行性。

提出的方法

• MM攻击通过最大化真实类别得分与所有其他类别最高得分之间的最小边际，识别最具对抗性的样本。
• 提出一种顺序目标排序选择（Sequential Target Ranking Selection, STARS）机制，高效选择最具攻击效果的目标类别，确保计算成本与类别数量无关。
• 使用两个目标之间的边际来评估对抗样本质量，精确捕捉特征空间中最脆弱的方向。
• MM攻击采用目标攻击框架，结合自适应步长与迭代优化，生成高质量对抗样本。
• 算法根据潜在生成强对抗样本的能力，动态对可能的目标类别进行排序，减少冗余计算。
• 该方法设计为与标准训练流程兼容，支持通过极少代码修改，直接将对抗训练中的PGD替换为MM攻击。

实验结果

研究问题

• RQ1 是否能通过单一高效攻击方法，在对抗鲁棒性评估中达到与AutoAttack相当的可靠性？
• RQ2 最小边际准则是否比标准损失函数提供更精确、更稳定的对抗样本质量度量？
• RQ3 是否能将鲁棒性评估的计算成本降低至AA的几分之一，同时不损失性能？
• RQ4 MM攻击在多种模型与防御机制（包括RobustBench中的防御）中是否均有效？
• RQ5 在对抗训练中，用MM攻击替代PGD是否能显著提升模型鲁棒性？

主要发现

• 在CIFAR-10、CIFAR-100和SVHN上，MM攻击的对抗鲁棒准确率与AutoAttack（AA）相当，成功率匹配或超过PGD、CW和FAB等单个攻击方法。
• 在使用PGD-10训练的ResNet-18上，MM3在CIFAR-10上达到93.2%的鲁棒准确率，与AA性能一致，但计算时间仅占AA的3%。
• MM攻击将计算成本降低至T-AA（目标AA）的2%和标准AA的3%，使其适用于资源受限的研究者及大规模训练场景。
• 在对抗训练中，用MM3-F20替换PGD后，CIFAR-10上的鲁棒准确率从91.8%提升至93.4%，证明通过提升对抗样本质量可显著增强模型鲁棒性。
• 该方法在RobustBench中的12种防御机制及6种$L_2$-范数防御中均保持优异性能，证实其泛化能力与可靠性。
• STARS机制确保攻击成本不随类别数量增加而上升，支持大规模分类任务的可扩展性。