[论文解读] Head2Toe: Utilizing Intermediate Representations for Better Transfer Learning

Utku Evci, Vincent Dumoulin+2 more|arXiv (Cornell University)|Jan 10, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

Head2Toe 提出了一种新颖的迁移学习方法，通过从预训练模型的所有层中选择最优的中间特征，提升了线性探测的性能，其性能与全量微调相当，同时将训练 FLOPs 降低 99.4%，存储成本降低 99%。该方法在分布外（OOD）迁移任务上优于微调，挑战了全量微调对 OOD 泛化能力是必要条件的假设。

ABSTRACT

Transfer-learning methods aim to improve performance in a data-scarce target domain using a model pretrained on a data-rich source domain. A cost-efficient strategy, linear probing, involves freezing the source model and training a new classification head for the target domain. This strategy is outperformed by a more costly but state-of-the-art method -- fine-tuning all parameters of the source model to the target domain -- possibly because fine-tuning allows the model to leverage useful information from intermediate layers which is otherwise discarded by the later pretrained layers. We explore the hypothesis that these intermediate layers might be directly exploited. We propose a method, Head-to-Toe probing (Head2Toe), that selects features from all layers of the source model to train a classification head for the target-domain. In evaluations on the VTAB-1k, Head2Toe matches performance obtained with fine-tuning on average while reducing training and storage cost hundred folds or more, but critically, for out-of-distribution transfer, Head2Toe outperforms fine-tuning.

研究动机与目标

• 为解决在低数据迁移学习场景下线性探测与微调之间的性能差距。
• 探究预训练模型中的中间表征是否包含可直接利用而无需微调整个网络的有用特征。
• 开发一种成本效益高的方法，在显著降低训练与存储成本的同时匹配微调性能。
• 评估从中间层选择特征是否能提升在分布外（OOD）目标领域上的泛化能力。
• 挑战传统观点，即全量微调是实现强 OOD 泛化能力的必要条件。

提出的方法

• Head2Toe 使用有监督的嵌入式特征选择方法，从预训练模型的所有层（包括最终嵌入层）中选择最相关的特征。
• 将特征选择问题建模为带 ℓ2,1-正则化的优化任务，以识别具有信息量的中间表征。
• 该方法在所选特征上训练单个线性分类头，实现高效的下游适应。
• 特征选择采用贪婪前向选择策略，并使用可微分代理，避免在每一步都进行昂贵的重新训练。
• 该方法在使用 ImageNet-2012 预训练的 ResNet-50 和 ViT-B/16 主干网络上的 VTAB 基准上进行评估。
• 该方法设计为与现有高效微调方法（如适配器或剪枝）兼容，可与之结合使用。

实验结果

研究问题

• RQ1 是否可以不经过微调，直接利用预训练模型中的中间表征来提升迁移学习性能？
• RQ2 从预训练网络的多层中选择特征，是否能优于标准线性探测？
• RQ3 Head2Toe 在准确率和计算成本方面与全量微调相比表现如何？
• RQ4 Head2Toe 是否在分布外（OOD）迁移任务上优于微调？
• RQ5 一种简单高效的特征选择方法，是否能以极低的 FLOPs 和存储成本，达到与昂贵全量微调相当的性能？

主要发现

• Head2Toe 在 VTAB 基准上的平均性能与全量微调相当，以极低的成本实现了最先进准确率。
• 平均而言，与微调相比，Head2Toe 将训练 FLOPs 降低了 99.4%，存储成本降低了 99%，同时保持了具有竞争力的性能。
• Head2Toe 在分布外（OOD）目标领域上优于微调，尤其在与 ImageNet 域亲和度较低的任务中表现更优。
• 与线性探测相比，其性能提升在 OOD 任务上最为显著，且随着域偏移程度增加而进一步提升，证实了在这些场景下中间特征的价值。
• 该方法在多种架构上均表现出强大的泛化能力，涵盖卷积网络（ResNet-50）和视觉 Transformer（ViT-B/16）主干网络。
• 性能提升归因于模型能够访问并利用深层中被标准线性探测所丢弃的判别性特征。