[论文解读] Do Adversarially Robust ImageNet Models Transfer Better?

Hadi Salman, Andrew Ilyas+3 more|arXiv (Cornell University)|Jul 16, 2020

Adversarial Robustness in Machine Learning参考文献 80被引用 111

一句话总结

对抗性鲁棒的 ImageNet 模型，尽管在 ImageNet 的准确率较低，但在固定特征和全网络迁移设置下，往往在多个下游任务上的迁移效果优于标准模型，包括对象检测和分割。

ABSTRACT

Transfer learning is a widely-used paradigm in deep learning, where models pre-trained on standard datasets can be efficiently adapted to downstream tasks. Typically, better pre-trained models yield better transfer results, suggesting that initial accuracy is a key aspect of transfer learning performance. In this work, we identify another such aspect: we find that adversarially robust models, while less accurate, often perform better than their standard-trained counterparts when used for transfer learning. Specifically, we focus on adversarially robust ImageNet classifiers, and show that they yield improved accuracy on a standard suite of downstream classification tasks. Further analysis uncovers more differences between robust and standard models in the context of transfer learning. Our results are consistent with (and in fact, add to) recent hypotheses stating that robustness leads to improved feature representations. Our code and models are available at https://github.com/Microsoft/robust-models-transfer .

研究动机与目标

• 研究对抗性鲁棒性是否对迁移学习有益的先验作用。
• 比较在多个下游任务中的鲁棒与标准 ImageNet 模型在固定特征和全网络迁移上的表现。
• 分析鲁棒性如何与模型宽度、准确性和数据粒度交互以影响迁移。
• 探讨鲁棒性与基于纹理的鲁棒方法（如 Stylized ImageNet）在迁移设置中的比较。

提出的方法

• 在多种架构（ResNet-18、ResNet-50、WideResNet-50 变体）上以不同鲁棒性水平（epsilon）训练多种 ImageNet 模型。
• 通过在12个下游分类数据集上对预训练模型的特征训练线性分类器来评估固定特征迁移。
• 通过在相同下游任务上对预训练模型进行微调来执行全网络迁移。
• 使用 Detectron2 与鲁棒骨干网络将评估扩展到对象检测和实例分割。
• 进行网格搜索超参数，包括鲁棒性水平 epsilon 与架构，并使用不同种子以避免选择偏差。

实验结果

研究问题

• RQ1 对抗性鲁棒的 ImageNet 模型在固定特征迁移设置下是否提供相对于标准模型的更优迁移性能？
• RQ2 鲁棒模型的迁移优势是否扩展到全网络微调、对象检测和实例分割？
• RQ3 鲁棒性水平、模型宽度和下游任务粒度如何影响迁移性能？
• RQ4 鲁棒性与基于纹理的不变性（Stylized ImageNet）在促成迁移方面有何比较？
• RQ5 ImageNet 准确性、鲁棒性与下游迁移性能之间的关系是什么？

主要发现

• 鲁棒模型在12个下游任务的固定特征迁移中始终与标准模型匹配或提升迁移性能。
• 在全网络迁移中，鲁棒模型在同样的任务中也能匹配或超越标准模型，且鲁棒性优势扩展到对象检测和实例分割。
• 增大模型宽度对鲁棒模型的帮助比对标准模型更大，表明更宽的鲁棒网络可能带来更大的迁移收益。
• 在考虑鲁棒性时，传统的线性准确性–迁移关系并未保持；鲁棒性和准确性对迁移具有独立、相互竞争的影响。
• 最优鲁棒性水平因数据集而异；对于更细粒度的数据集通常更偏好较小的 epsilon，而对 CIFAR-10/100 等粒度较粗的任务则更有利于较大的 epsilon。
• 鲁棒模型在迁移任务中优于纹理鲁棒（Stylized ImageNet）基线，支持将鲁棒性作为表征的宝贵先验。