[论文解读] Ranking and Tuning Pre-trained Models: A New Paradigm for Exploiting Model Hubs

Kaichao You, Yong Liu+4 more|arXiv (Cornell University)|Oct 20, 2021

Topic Modeling参考文献 87被引用 11

一句话总结

本文提出了一种利用预训练模型库的新范式，通过引入 LogME——一种计算高效的可迁移性度量指标，基于标签证据估计对预训练模型（PTMs）进行排序，并提出 B-Tuning——一种联合调优前K名PTM的贝叶斯方法。该方法优于简单选择和全面微调，以极低的计算成本在异构PTM集成中实现了最先进性能。

ABSTRACT

Model hubs with many pre-trained models (PTMs) have become a cornerstone of deep learning. Although built at a high cost, they remain \emph{under-exploited} -- practitioners usually pick one PTM from the provided model hub by popularity and then fine-tune the PTM to solve the target task. This naïve but common practice poses two obstacles to full exploitation of pre-trained model hubs: first, the PTM selection by popularity has no optimality guarantee, and second, only one PTM is used while the remaining PTMs are ignored. An alternative might be to consider all possible combinations of PTMs and extensively fine-tune each combination, but this would not only be prohibitive computationally but may also lead to statistical over-fitting. In this paper, we propose a new paradigm for exploiting model hubs that is intermediate between these extremes. The paradigm is characterized by two aspects: (1) We use an evidence maximization procedure to estimate the maximum value of label evidence given features extracted by pre-trained models. This procedure can rank all the PTMs in a model hub for various types of PTMs and tasks \emph{before fine-tuning}. (2) The best ranked PTM can either be fine-tuned and deployed if we have no preference for the model's architecture or the target PTM can be tuned by the top $K$ ranked PTMs via a Bayesian procedure that we propose. This procedure, which we refer to as \emph{B-Tuning}, not only improves upon specialized methods designed for tuning homogeneous PTMs, but also applies to the challenging problem of tuning heterogeneous PTMs where it yields a new level of benchmark performance.

研究动机与目标

• 为解决预训练模型库的低效利用问题，即从业者通常仅选择最流行的模型而未进行优化。
• 通过提供一个理论基础坚实且高效的排序方法，克服简单PTM选择的局限性，实现在微调前预测可迁移性的能力。
• 实现对同构与异构模型的有效多PTM调优，提升下游性能，超越单模型微调。
• 通过引入统一且统计上合理的度量指标，减少对昂贵超参数搜索和头部层微调中过拟合的依赖。

提出的方法

• LogME 估计在给定PTM特征下标签的最大证据的对数，提供无需微调的可迁移性得分。
• 该方法基于特征和先验知识构建标签的预测分布，支持在不同架构和任务间对PTM进行排序。
• B-Tuning 应用贝叶斯模型平均法组合前K名排序的PTM，实现联合调优，提升泛化能力和性能。
• 该方法采用类似高斯过程的框架建模标签证据，通过闭式解避免迭代优化。
• 它利用后验预测分布估计可迁移性，相较于基于准确率的度量，在低数据场景下更具鲁棒性。
• 该框架支持架构无关的部署（通过前几名PTM）和架构受限的调优（通过前K名模型的B-Tuning）。

实验结果

研究问题

• RQ1 是否存在一种计算高效的度量方法，可在无需微调的情况下，依据可迁移性对预训练模型进行排序？
• RQ2 LogME 在排序准确性上与暴力微调及现有度量方法（如 LEEP 和 NCE）相比表现如何？
• RQ3 B-Tuning 是否能有效结合多个异构预训练模型，实现超越单个模型微调的性能提升？
• RQ4 与标准头部层微调相比，该方法是否能降低过拟合和超参数敏感性？
• RQ5 该方法是否能在包括视觉和自然语言处理模型在内的多样化任务和PTM类型上实现泛化？

主要发现

• 在 ImageNet-1K 数据集上，LogME 与下游准确率的相关系数达到 0.86，优于 LEEP 和 NCE，且仅需单次头部微调时间的 1/3。
• 在 Caltech-1000 数据集上，LogME 与微调后准确率的相关系数为 0.81，而全面的头部微调结合超参数搜索在试验次数增加时相关系数下降，表明存在过拟合。
• 在低样本情感分类（SST-2）任务中，LogME 通过将预测权重建模为虚拟锚点词，实现了 79.24% 的准确率，超过头部微调（51.64%）和人工提示选择（61.4%）。
• 在异构PTM组合中，B-Tuning 超过 Zoo-tuning 和知识蒸馏，成为迁移学习性能的新基准。
• 该方法在视觉和自然语言处理任务中均表现出一致的优越性，涵盖 ResNet、ViT、BERT 和 RoBERTa 等多种模型，在多个数据集上表现优异。
• 该框架通过避免全面搜索显著降低了计算成本，同时保持或提升了性能，使其适用于实际部署。