[论文解读] LogME: Practical Assessment of Pre-trained Models for Transfer Learning

Kaichao You, Yong Liu+2 more|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 72被引用 39

一句话总结

LogME 引入了一种快速、通用的方法，通过在特征给定的情况下估计标签的最大证据来评估预训练模型，从而实现无需微调即可在监督、无监督、分类、回归和语言任务中进行模型选择。

ABSTRACT

This paper studies task adaptive pre-trained model selection, an underexplored problem of assessing pre-trained models for the target task and select best ones from the model zoo \emph{without fine-tuning}. A few pilot works addressed the problem in transferring supervised pre-trained models to classification tasks, but they cannot handle emerging unsupervised pre-trained models or regression tasks. In pursuit of a practical assessment method, we propose to estimate the maximum value of label evidence given features extracted by pre-trained models. Unlike the maximum likelihood, the maximum evidence is \emph{immune to over-fitting}, while its expensive computation can be dramatically reduced by our carefully designed algorithm. The Logarithm of Maximum Evidence (LogME) can be used to assess pre-trained models for transfer learning: a pre-trained model with a high LogME value is likely to have good transfer performance. LogME is \emph{fast, accurate, and general}, characterizing itself as the first practical method for assessing pre-trained models. Compared with brute-force fine-tuning, LogME brings at most $3000 imes$ speedup in wall-clock time and requires only $1\%$ memory footprint. It outperforms prior methods by a large margin in their setting and is applicable to new settings. It is general enough for diverse pre-trained models (supervised pre-trained and unsupervised pre-trained), downstream tasks (classification and regression), and modalities (vision and language). Code is available at this repository: \href{https://github.com/thuml/LogME}{https://github.com/thuml/LogME}.

研究动机与目标

• 提出任务自适应的预训练模型选择，以在无微调的情况下为目标任务挑选最佳起始模型。
• 提出一个基于最大证据的概率性、无梯度分数（LogME）来评估特征—标签的兼容性。
• 展示 LogME 在有监督和无监督的预训练模型以及跨模态的分类和回归任务中的适用性。
• 证明 LogME 相对于暴力微调在速度上具有显著提升，同时与实际迁移性能具有较强相关性。

提出的方法

• 将预训练模型表示为固定特征提取器，并在提取的特征之上用线性预测器对目标进行建模。
• 通过对权重进行高斯先验边缘化来计算证据 p(y|F)，从而得到闭式的对数证据 L(alpha,beta)。
• 使用固定点交替优化在 alpha 和 beta 上最大化 L，得到 gamma 以及 m 和 A 的高效更新。
• 将 LogME 定义为每个目标维度的平均最大证据，即 LogME = (1/K) sum_k L_k / n，在为每个输出维度 k 求解之后。
• 通过对每个维度单独应用并取平均，将 LogME 扩展到多变量目标，并通过对分类进行一热编码以拟合回归框架。
• 提供计算优化，通过利用 F^T F 的 SVD 来避免矩阵求逆，从而实现矩阵向量更新。

实验结果

研究问题

• RQ1 在跨多样任务和模态下，LogME 是否能够在无需微调的情况下、可靠地对预训练模型进行迁移学习排序？
• RQ2 LogME 是否足够快速且内存高效，能够超越暴力微调并保持与实际迁移性能的强相关性？
• RQ3 LogME 是否能够扩展至有监督、无监督、分类、回归和语言模型场景？
• RQ4 在适用性和预测准确性方面，LogME 与先前的方法如 LEEP 和 NCE 相比如何？

主要发现

• 在多个数据集和任务上，LogME 与微调后的迁移性能的相关性持续高于先前的方法。
• 在模型选择方面，LogME 相比暴力微调实现了大约 3000× 的时钟时间加速，且内存占用仅为 1%。
• LogME 适用于有监督和无监督的预训练模型，以及视觉和语言领域的分类、回归和语言模型任务。
• 在回归任务（dSprites）中，LogME 与微调后较低的均方误差相关，tau 为 0.84，意味着在给定 LogME 更高的情况下，获得更好性能的概率为 92%。
• 对于带有语言模型的 GLUE 任务，LogME 能够完美估计其中 3 个任务的排序（tau_w = 1），利用外部调优工作的迁移结果。
• 实证结果表明 LogME 提供了实用的、任务自适应的模型选择，与真实的迁移性能一致，并且无需在目标任务上进行超参数调优。