[论文解读] Bi-tuning of Pre-trained Representations

Jincheng Zhong, Ximei Wang+3 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 13

一句话总结

本文提出Bi-tuning，一种新颖的微调框架，通过联合优化两个分支：一个使用对比交叉熵损失以提升类别判别能力的分类头，以及一个使用类别对比学习损失以利用数据内在结构的投影头，从而增强监督与非监督预训练表征。该方法在低数据设置下实现了最先进性能，例如在CUB-200-2011数据集上实现了10.7%的绝对准确率提升。

ABSTRACT

It is common within the deep learning community to first pre-train a deep neural network from a large-scale dataset and then fine-tune the pre-trained model to a specific downstream task. Recently, both supervised and unsupervised pre-training approaches to learning representations have achieved remarkable advances, which exploit the discriminative knowledge of labels and the intrinsic structure of data, respectively. It follows natural intuition that both discriminative knowledge and intrinsic structure of the downstream task can be useful for fine-tuning, however, existing fine-tuning methods mainly leverage the former and discard the latter. A question arises: How to fully explore the intrinsic structure of data for boosting fine-tuning? In this paper, we propose Bi-tuning, a general learning framework to fine-tuning both supervised and unsupervised pre-trained representations to downstream tasks. Bi-tuning generalizes the vanilla fine-tuning by integrating two heads upon the backbone of pre-trained representations: a classifier head with an improved contrastive cross-entropy loss to better leverage the label information in an instance-contrast way, and a projector head with a newly-designed categorical contrastive learning loss to fully exploit the intrinsic structure of data in a category-consistent way. Comprehensive experiments confirm that Bi-tuning achieves state-of-the-art results for fine-tuning tasks of both supervised and unsupervised pre-trained models by large margins (e.g. 10.7\% absolute rise in accuracy on CUB in low-data regime).

研究动机与目标

• 为解决现有微调方法主要利用标签信息而忽略下游数据内在结构的局限性。
• 开发一种可泛化的微调框架，适用于监督与非监督预训练模型。
• 通过同时利用判别性标签知识与数据级结构模式，提升模型在低数据设置下的泛化能力与鲁棒性。
• 证明在微调过程中结合监督学习与自监督学习信号可带来更优性能。

提出的方法

• 提出双分支架构：一个分类头用于预测标签，一个投影头用于学习不变表征。
• 采用对比交叉熵（CCE）损失，通过实例级别的正负样本对比增强类内紧凑性。
• 提出类别对比学习（CCL）损失，促使表征空间中实现类别一致的聚类，从而利用数据内在结构。
• 通过联合使用交叉熵、CCE与CCL损失，端到端训练整个模型，以同时优化标签判别能力与结构一致性。
• 将该框架应用于多种主干网络与预训练方法（包括ResNet、MoCo、SimCLR与InsDisc），无需修改网络架构。
• 在对比学习设置中采用动量更新的键编码器以稳定训练，与MoCo风格方法保持一致。

实验结果

研究问题

• RQ1 在微调过程中联合优化标签判别能力与数据结构是否能提升下游任务性能？
• RQ2 将对比学习与标准交叉熵损失结合，对微调性能有何影响，特别是在低数据设置下？
• RQ3 所提出的双分支架构结合CCE与CCL损失是否能在不同预训练方法（包括非监督方法）上实现泛化？
• RQ4 在微调过程中，基于标签的信号与基于结构的信号各自贡献如何？

主要发现

• 在使用无监督MoCo-v1表征微调CUB-200-2011数据集时，Bi-tuning在25%训练数据设置下实现了10.7%的绝对准确率提升。
• 在CUB-200-2011数据集使用100%数据时，Bi-tuning采用ResNet-50主干网络并经MoCo预训练，达到77.12%的top-1准确率，优于标准微调方法。
• 消融实验表明，CCE与CCL损失均独立且协同贡献，完整组合实现最佳性能。
• 该方法具有良好的泛化能力：在CARS100数据集上，应用于MoCo、SimCLR、InsDisc、Deep Cluster与CMC时均提升了性能。
• 可视化结果表明，Bi-tuned表征同时捕捉了局部细节与全局类别级结构，而无监督预训练模型仅关注局部模式。
• 敏感性分析表明，键池大小与采样随机性之间存在权衡，中等大小的键池可实现最优性能。