[论文解读] A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking

Chang Liu, Yinpeng Dong+8 more|arXiv (Cornell University)|Feb 28, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了 ARES-Bench，一个全面的鲁棒性基准，用于在多种对抗性攻击和分布外（OOD）分布偏移下，评估 ImageNet 上 55 种深度学习模型（包括 CNN 和 Transformer）的性能。结果揭示了对抗性鲁棒性与自然鲁棒性之间存在权衡关系，表明对抗性训练能显著提升对抗性鲁棒性，尤其在 Transformer 模型中效果更明显；同时发现预训练能显著提升自然鲁棒性，结合优化的训练方案可实现最先进的对抗性性能。

ABSTRACT

The robustness of deep neural networks is usually lacking under adversarial examples, common corruptions, and distribution shifts, which becomes an important research problem in the development of deep learning. Although new deep learning methods and robustness improvement techniques have been constantly proposed, the robustness evaluations of existing methods are often inadequate due to their rapid development, diverse noise patterns, and simple evaluation metrics. Without thorough robustness evaluations, it is hard to understand the advances in the field and identify the effective methods. In this paper, we establish a comprehensive robustness benchmark called extbf{ARES-Bench} on the image classification task. In our benchmark, we evaluate the robustness of 55 typical deep learning models on ImageNet with diverse architectures (e.g., CNNs, Transformers) and learning algorithms (e.g., normal supervised training, pre-training, adversarial training) under numerous adversarial attacks and out-of-distribution (OOD) datasets. Using robustness curves as the major evaluation criteria, we conduct large-scale experiments and draw several important findings, including: 1) there is an inherent trade-off between adversarial and natural robustness for the same model architecture; 2) adversarial training effectively improves adversarial robustness, especially when performed on Transformer architectures; 3) pre-training significantly improves natural robustness based on more training data or self-supervised learning. Based on ARES-Bench, we further analyze the training tricks in large-scale adversarial training on ImageNet. By designing the training settings accordingly, we achieve the new state-of-the-art adversarial robustness. We have made the benchmarking results and code platform publicly available.

研究动机与目标

• 为解决深度学习中缺乏全面、最新且多维度的鲁棒性评估问题，特别是针对对抗样本、自然损坏和分布偏移的评估。
• 识别现有基准依赖点对点指标的局限性，无法完整捕捉鲁棒性谱系。
• 探究不同鲁棒性类型（对抗性、自然、OOD）在多样化架构和训练范式之间的相互作用。
• 提供一个标准化、大规模的基准（ARES-Bench）和训练方案，以实现模型鲁棒性的公平、可复现且严谨的评估。

提出的方法

• 作者构建了 ARES-Bench，一个大规模基准，用于在 ImageNet 上评估 55 种模型，涵盖多样化架构（CNN、Transformer）和训练方法（常规训练、预训练、自监督学习、对抗性训练）。
• 采用鲁棒性曲线作为主要评估指标，支持在多个扰动级别和 OOD 数据集之间进行全面比较。
• 该基准在 AutoAttack 对抗攻击下评估模型，并使用 10 个 OOD 数据集，包括 ImageNet-R、Stylized-ImageNet 和 ImageNet-Sketch。
• 对对抗性训练超参数进行消融研究，识别出关键训练技巧，如数据增强、权重平均和正则化，可缓解过拟合问题。
• 通过频率分析研究对抗性训练模型的频率偏差，发现低频特征学习与鲁棒性提升相关。
• 发布基准结果和代码，以确保可复现性，并支持未来研究。

实验结果

研究问题

• RQ1 对于同一模型架构，是否存在对抗性鲁棒性与自然鲁棒性之间的根本性权衡？
• RQ2 不同训练范式（尤其是对抗性训练和预训练）如何影响多种鲁棒性类型的综合表现？
• RQ3 现代架构设计（如 ConvNeXt）在鲁棒性方面是否显著优于 Transformer？自注意力机制是否为关键因素？
• RQ4 经过优化的训练方案是否能在不带来过高计算成本的前提下，显著提升 ImageNet 上的对抗性鲁棒性？
• RQ5 模型表征中的频率偏差与鲁棒性有何关联，特别是在对抗性训练模型中？

主要发现

• 在对抗性鲁棒性与自然鲁棒性之间存在显著权衡：对抗性训练虽能提升对对抗攻击的鲁棒性，但通常会降低在自然分布偏移下的性能，尤其在 OOD 泛化方面。
• 对抗性训练能显著增强对抗性鲁棒性，尤其在 Transformer 架构中效果更突出，其在相同训练设置下表现优于标准 CNN。
• 在大规模数据集（如 ImageNet-21K）上进行预训练或使用自监督学习，能显著提升自然鲁棒性，通过减少过拟合和虚假线索实现。
• 现代 CNN（如 ConvNeXt）的鲁棒性可与 Transformer 相当，表明更大的卷积核和更少的归一化层等架构创新，比自注意力机制本身对鲁棒性更具决定性影响。
• 消融研究识别出关键训练技巧——数据增强、权重平均和正则化——可缓解对抗性训练中的过拟合，从而实现最先进的对抗性鲁棒性。
• 对抗性训练模型表现出更低的频率偏差，学习到更多基于形状的特征，这与在高频纹理损失较大的 OOD 数据集（如 ImageNet-R、Stylized-ImageNet）上表现更优密切相关。