[论文解读] Adversarial Training Helps Transfer Learning via Better Representations

Zhun Deng, Linjun Zhang+3 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用 4

一句话总结

本文提供了理论分析，表明在源数据上进行对抗性训练可通过学习更优表征来提升迁移学习性能，从而在目标任务上获得更准确的预测器。此外，本文进一步证明了半监督学习与对抗性训练具有互补性，联合使用可在ImageNet和CIFAR基准上实现更优的迁移性能。

ABSTRACT

Transfer learning aims to leverage models pre-trained on source data to efficiently adapt to target setting, where only limited data are available for model fine-tuning. Recent works empirically demonstrate that adversarial training in the source data can improve the ability of models to transfer to new domains. However, why this happens is not known. In this paper, we provide a theoretical model to rigorously analyze how adversarial training helps transfer learning. We show that adversarial training in the source data generates provably better representations, so fine-tuning on top of this representation leads to a more accurate predictor of the target data. We further demonstrate both theoretically and empirically that semi-supervised learning in the source data can also improve transfer learning by similarly improving the representation. Moreover, performing adversarial training on top of semi-supervised learning can further improve transferability, suggesting that the two approaches have complementary benefits on representations. We support our theories with experiments on popular data sets and deep learning architectures.

研究动机与目标

• 从理论上解释为何在源数据上进行对抗性训练能提升迁移学习性能，即使可能导致源任务准确率下降。
• 探究通过伪标签实现的半监督学习是否也能改善迁移学习的表征质量。
• 考察在源域中联合使用对抗性训练与伪标签是否能带来表征可迁移性的互补性增益。
• 将先前针对回归设置的迁移学习分析推广至分类设置，其中对抗性训练与伪标签更为常见。
• 为理解深度学习中提升迁移学习性能的关键因素，提供一个可处理的理论框架。

提出的方法

• 利用KL散度和打包数，通过理论分析对抗性训练对表征质量的影响，以界定泛化误差。
• 通过sinθ距离和log M ≍ rd log(1/η)（η-打包正交矩阵）推导表征质量的边界。
• 应用信息论工具（如KL散度、互信息）量化表征的鲁棒性与泛化能力。
• 在ImageNet和CIFAR-10/100上通过ResNet-18进行实证验证，仅微调最后一层。
• 实现使用ℓ₂扰动（ε=1）的对抗性训练，以及基于在10% ImageNet数据上训练的模型进行的伪标签化。
• 系统性消融伪标签数量（0%至900%），以评估其对迁移准确率的影响。

实验结果

研究问题

• RQ1 为何在源域上进行对抗性训练能提升迁移学习性能，即使可能导致源任务准确率下降？
• RQ2 通过伪标签实现的半监督学习是否也能类似地改善迁移学习的表征质量？
• RQ3 对抗性训练与伪标签在迁移学习中是否对表征质量具有互补效应？
• RQ4 与先前基于回归的框架相比，分类设置下表征质量的理论分析有何异同？
• RQ5 联合使用对抗性训练与伪标签对多个数据集迁移性能的定量影响如何？

主要发现

• 在ImageNet上进行对抗性训练，相较于标准训练，可使在CIFAR-10上的迁移准确率提升最高达4.3个百分点（从17.3%提升至21.2%）。
• 在Pets数据集上，将伪标签数量增加至训练集大小的900%，并结合对抗性训练后，迁移准确率从43.2%提升至59.6%。
• 在Flowers数据集上，仅使用对抗性训练可使迁移准确率从60.7%提升至66.9%；仅使用伪标签化则提升至66.5%。
• 对抗性训练与伪标签化联合使用在Flowers数据集上达到最高准确率70.1%，优于任一方法单独使用。
• 即使由于对抗性训练导致源任务准确率下降，迁移性能仍得到提升，证实表征质量而非源准确率才是迁移成功的关键。
• 理论分析确认，对抗性训练通过改善KL散度控制，降低泛化误差边界，从而带来更优的表征。