[论文解读] Adversarially robust transfer learning

Ali Shafahi, Parsa Saadatpanah+5 more|arXiv (Cornell University)|May 20, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用 14

一句话总结

本文通过利用预训练的对抗性训练模型中的鲁棒特征提取器，提出了一种对抗性鲁棒的迁移学习方法，无需对抗性训练即可在新任务上实现高准确率和鲁棒性。通过使用如学习无遗忘（LwF）等终身学习技术，该方法在微调过程中保持了鲁棒性，在CIFAR-100上的泛化性能提升了约2%，同时维持了鲁棒性。

ABSTRACT

Transfer learning, in which a network is trained on one task and re-purposed on another, is often used to produce neural network classifiers when data is scarce or full-scale training is too costly. When the goal is to produce a model that is not only accurate but also adversarially robust, data scarcity and computational limitations become even more cumbersome. We consider robust transfer learning, in which we transfer not only performance but also robustness from a source model to a target domain. We start by observing that robust networks contain robust feature extractors. By training classifiers on top of these feature extractors, we produce new models that inherit the robustness of their parent networks. We then consider the case of fine tuning a network by re-training end-to-end in the target domain. When using lifelong learning strategies, this process preserves the robustness of the source network while achieving high accuracy. By using such strategies, it is possible to produce accurate and robust models with little data, and without the cost of adversarial training. Additionally, we can improve the generalization of adversarially trained models, while maintaining their robustness.

研究动机与目标

• 为解决在数据量少、对抗性训练成本高且数据稀缺的场景下实现对抗性鲁棒性的挑战。
• 探究是否可将源模型的鲁棒性无须使用对抗样本重新训练直接迁移到目标领域。
• 开发一种在微调过程中保持鲁棒性的方法，避免鲁棒特征的灾难性遗忘。
• 通过终身学习技术迁移鲁棒特征，提升对抗性训练模型的泛化能力。

提出的方法

• 通过冻结预训练且经过对抗性训练的模型（如ImageNet上的Wide-ResNet）的特征提取器，并仅在目标数据集上重新训练最后的分类头来迁移鲁棒性。
• 在微调过程中使用学习无遗忘（LwF）方法，通过蒸馏损失鼓励源模型与目标模型之间特征表示的相似性，从而保持鲁棒性。
• 在倒数第二层激活上应用ℓ2-范数蒸馏，以强制源模型与微调后模型之间的特征表示一致性。
• 离线存储源模型的特征以加速训练，避免在LwF训练期间进行在线前向传播。
• 采用热启动策略：先仅训练分类头，随后逐步降低初始的高学习率，对特征提取器和分类头进行联合微调。
• 通过LwF损失中的超参数λd控制鲁棒性与泛化能力之间的权衡。

实验结果

研究问题

• RQ1 是否可以在不进行对抗性训练的情况下，有效将鲁棒性从源模型迁移到新的目标领域？
• RQ2 对鲁棒模型进行端到端微调是否会降低其对抗性鲁棒性？
• RQ3 像LwF这样的终身学习方法能否在微调过程中防止鲁棒特征的遗忘？
• RQ4 鲁棒特征迁移是否能提升对抗性训练模型的泛化能力？
• RQ5 LwF正则化强度（λd）对鲁棒性与干净准确率的影响如何？

主要发现

• 通过特征提取将鲁棒的ImageNet模型迁移到CIFAR-10，实现了87.25%的自然准确率和45.84%的PGD-20鲁棒准确率，且未进行任何对抗性训练。
• 在微调过程中使用LwF方法，在保持源模型鲁棒性的同时提升了干净验证准确率，在CIFAR-10上达到89.07%（λd = 1e-7）。
• 在CIFAR-100+数据集上，LwF相比标准微调将鲁棒模型的泛化能力提升了约2%，同时保持了鲁棒性。
• LwF方法缩小了对抗性训练模型的泛化差距，使CIFAR-100上的PGD-20准确率从22.76%提升至24.31%（λd = 0.001）。
• λd的选择显著影响鲁棒性与泛化能力之间的权衡，部分取值（如0.1）可同时提升鲁棒性与干净准确率。
• 实证结果表明，鲁棒性源于特征提取器，保持其表征是迁移过程中维持鲁棒性的关键。