[论文解读] Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification

Francisco Utrera, Evan Kravitz+3 more|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning被引用 12

一句话总结

该论文表明，与未经对抗训练的标准深度神经网络相比，对抗训练的深度神经网络在新图像分类任务上的迁移能力更强，尤其是在目标数据有限的情况下。这种改进源于对抗训练使表征偏向于形状特征而非纹理特征，从而产生更具人类可识别性、语义意义更明确的特征，提升了迁移能力。

ABSTRACT

Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks on image recognition tasks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labeled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better than non-adversarially-trained models, especially if only limited data are available for the new domain task. Further, we observe that adversarial training biases the learnt representations to retaining shapes, as opposed to textures, which impacts the transferability of the source models. Finally, through the lens of influence functions, we discover that transferred adversarially-trained models contain more human-identifiable semantic information, which explains -- at least partly -- why adversarially-trained models transfer better.

研究动机与目标

• 探究对抗训练模型在迁移学习设置下是否在不同领域间泛化能力更强。
• 理解为何尽管在源领域准确率较低，鲁棒模型仍表现出更优的迁移性能。
• 分析对抗训练如何影响学习到的特征表征，特别是在纹理与形状偏置方面的表现。
• 利用影响函数探究人类可识别的语义信息在迁移能力中的作用。
• 评估数据稀缺性和微调策略对鲁棒模型与自然模型迁移性能的影响。

提出的方法

• 在ImageNet-1K上，使用PGD和高斯攻击对预训练的ResNet-50模型进行对抗训练，同时对另一组模型进行非对抗训练（自然训练）。
• 通过冻结早期层并微调最后几层，在不同目标数据集上执行迁移学习，目标数据集的标注数据量各不相同。
• 对抗训练采用ℓ₂和ℓ∞约束，分别对应PGD和高斯噪声扰动，在固定扰动预算下进行。
• 应用影响函数分析源领域中哪些训练样本对目标领域的预测影响最大。
• 通过激活图和特征相似性分析，可视化并比较特征表征，以评估纹理与形状偏置。
• 在多个数据集、微调块数量和子集大小上进行了广泛的消融研究，以验证结果的稳健性。

实验结果

研究问题

• RQ1 当在新图像分类任务上微调且训练数据少于10%时，对抗训练模型是否比标准模型达到更高的准确率？
• RQ2 对抗训练如何影响学习表征的归纳偏置？具体而言，是否更倾向于形状特征而非纹理特征？
• RQ3 鲁棒模型在多大程度上保留了人类可识别的语义信息？该指标通过影响函数进行衡量。
• RQ4 源数据集与目标数据集之间的相似性如何影响最优微调层数量和对抗约束的选择？
• RQ5 鲁棒模型迁移能力的提升是否可归因于更具语义意义的特征表征？

主要发现

• 当在训练数据少于10%的目标数据集上微调时，对抗训练模型的测试准确率显著高于自然模型。
• 在数据稀缺条件下，鲁棒模型收敛更快，且在更少的训练周期内达到更高准确率，尤其在该条件下表现更优。
• 对抗训练使模型表征更强烈地保留形状信息，减少对数据集特异性模式的依赖，从而增强对形状特征的偏好。
• 影响函数分析表明，对抗训练模型在学习到的特征中包含更多人类可识别的语义信息。
• 在领域差异大且数据量少的数据集上，鲁棒模型与自然模型之间的性能差距最为显著。
• 鲁棒模型的迁移优势在多个目标数据集和微调配置中保持一致，表明其具有广泛的适用性。