[论文解读] Adversarially-Trained Deep Nets Transfer Better

Francisco Utrera, Evan Kravitz+3 more|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 24

一句话总结

该论文表明，尽管在源域上的泛化性能较差，对抗性训练的深度神经网络在迁移到新领域时，其迁移效果优于自然训练的模型。这种改进源于对抗性训练使早期层的特征表示更偏向于更自然、更通用的图像结构，从而在目标数据有限的情况下也增强了迁移能力。

ABSTRACT

Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labelled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better across new domains than naturally-trained models, even though it's known that these models do not generalize as well as naturally-trained models on the source domain. We show that this behavior results from a bias, introduced by the adversarial training, that pushes the learned inner layers to more natural image representations, which in turn enables better transfer.

研究动机与目标

• 研究为何对抗性训练的模型在源域上泛化性能较差，但在迁移学习中表现更优。
• 理解对抗性训练网络中提升迁移能力的内在机制。
• 探究对抗性训练是否在早期层中诱导出更自然图像表示的偏差。
• 在目标数据有限的情况下，比较对抗性训练与自然训练模型在下游任务中的迁移性能。

提出的方法

• 在大规模源数据集上使用对抗性训练预训练深度神经网络，以提升对输入扰动的鲁棒性。
• 冻结预训练模型的早期卷积层，以保留学习到的通用特征。
• 仅在新的、较小的目标数据集上微调最后几层，该数据集标注信息有限或监督较弱。
• 分析冻结的早期层内部表示，评估其与自然图像统计特性的对齐程度。
• 在多个下游任务上比较对抗性训练与自然训练模型的迁移性能。
• 利用激活统计量和特征可视化，证明对抗性训练能促进早期层中更自然的图像表示。

实验结果

研究问题

• RQ1 尽管在源域上的泛化性能较差，对抗性训练是否仍能提升迁移学习性能？
• RQ2 对抗性训练在神经网络内部表示中引入了何种特定归纳偏差？
• RQ3 对抗性训练模型学习到的特征表示与自然训练模型相比，在自然图像结构方面有何差异？
• RQ4 迁移能力的提升在多大程度上源于网络学习到更通用、可迁移特征的能力？
• RQ5 对自然图像表示的偏差是否可以解释对抗性训练模型优越的迁移性能？

主要发现

• 对抗性训练的模型在下游任务上的迁移性能显著优于自然训练的模型，即使后者在源域上的泛化性能更优。
• 迁移能力的提升归因于对抗性训练引入的偏差，该偏差促使早期层学习到更自然的图像表示。
• 对抗性训练模型的特征激活与自然图像统计特性（如边缘和纹理模式）的对齐程度更强，优于自然训练模型。
• 对自然图像表示的偏差在早期卷积层中最为显著，这些层在迁移过程中被冻结。
• 即使在目标域中标签数据有限的情况下，对抗性训练的模型在迁移学习基准测试中始终优于其自然训练的对应模型。
• 结果表明，对抗性训练可作为一种正则化方法，通过促进更通用和鲁棒的特征学习，增强特征的迁移能力。