[论文解读] Frustratingly Easy Transferability Estimation

Long-Kai Huang, Ying Wei+3 more|arXiv (Cornell University)|Jun 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 12

一句话总结

本文提出 TransRate，一种简单、高效且有效的可迁移性估计方法，通过单次前向传播计算预训练模型在目标任务标签与提取特征之间的互信息。通过利用编码速率作为互信息的代理，TransRate 在不同层上同时评估特征的完整性和紧凑性，仅用 10 行代码在 32 个模型和 16 项下游任务上实现了最先进性能。

ABSTRACT

Transferability estimation has been an essential tool in selecting a pre-trained model and the layers in it for transfer learning, to transfer, so as to maximize the performance on a target task and prevent negative transfer. Existing estimation algorithms either require intensive training on target tasks or have difficulties in evaluating the transferability between layers. To this end, we propose a simple, efficient, and effective transferability measure named TransRate. Through a single pass over examples of a target task, TransRate measures the transferability as the mutual information between features of target examples extracted by a pre-trained model and their labels. We overcome the challenge of efficient mutual information estimation by resorting to coding rate that serves as an effective alternative to entropy. From the perspective of feature representation, the resulting TransRate evaluates both completeness (whether features contain sufficient information of a target task) and compactness (whether features of each class are compact enough for good generalization) of pre-trained features. Theoretically, we have analyzed the close connection of TransRate to the performance after transfer learning. Despite its extraordinary simplicity in 10 lines of codes, TransRate performs remarkably well in extensive evaluations on 32 pre-trained models and 16 downstream tasks.

研究动机与目标

• 为解决在迁移学习中选择最优预训练模型和层的挑战，以避免负迁移并最大化性能。
• 开发一种计算高效的可迁移性估计方法，用于评估预训练模型不同层之间的可迁移性。
• 克服现有方法需要大量微调或无法区分各层性能的局限性。
• 提供一种既简单又高效的方法，仅需对目标数据进行一次前向传播即可完成。

提出的方法

• TransRate 将可迁移性估计为给定层上预训练模型提取的特征与目标任务标签之间的互信息。
• 它利用信息论中的编码速率作为互信息的计算高效代理，避免了昂贵的神经网络训练或详尽的离散化过程。
• 该方法在统一框架中评估特征的完整性（信息含量）和紧凑性（类别可分性）。
• 通过计算特征与标签联合分布与条件分布之间的编码速率差异，即使在高维空间中也能提供稳定估计。
• 该算法的时间复杂度为 O(min{d^{2.373} + nd^2, n^{2.373} + dn^2})，支持在各层间快速评估。
• 由于速率差异计算中的抵消效应，该方法对超参数选择（尤其是噪声参数 ε）具有鲁棒性。

实验结果

研究问题

• RQ1 对于给定的目标任务，哪个预训练模型及其哪一层提供了最高的可迁移性？
• RQ2 能否开发一种既高效又准确的可迁移性估计方法，而无需微调或额外训练？
• RQ3 特征与标签之间的互信息在多大程度上能预测下游迁移学习的性能？
• RQ4 一种简单、单次遍历的方法能否有效区分预训练模型不同层之间的可迁移性？

主要发现

• TransRate 在 32 个预训练模型和 16 项下游任务上的可迁移性估计中均达到最先进性能，且计算成本极低。
• 该方法仅需对目标数据进行一次前向传播，相比基于微调或训练密集型的替代方法具有极高的效率。
• TransRate 与实际下游迁移学习性能表现出强相关性，验证了其与泛化能力的理论关联。
• 由于速率差异计算中的抵消效应，该方法对超参数选择（尤其是噪声参数 ε）具有鲁棒性。
• 尽管实现极为简洁（仅 10 行代码），TransRate 仍优于现有计算高效但无法评估层间可迁移性的方法。