[论文解读] Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

Armen Aghajanyan, Luke Zettlemoyer+1 more|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling被引用 7

一句话总结

本文提出，微调大规模预训练语言模型的有效性源于其内在低维性——即下游任务可使用远少于完整模型的参数进行优化。作者表明，仅使用200个随机投影参数进行微调，即可在MRPC数据集上达到完整模型90%的性能；且更大的模型往往具有更低的内在维度，解释了其更优的泛化能力。

ABSTRACT

Although pretrained language models can be fine-tuned to produce state-of-the-art results for a very wide range of language understanding tasks, the dynamics of this process are not well understood, especially in the low data regime. Why can we use relatively vanilla gradient descent algorithms (e.g., without strong regularization) to tune a model with hundreds of millions of parameters on datasets with only hundreds or thousands of labeled examples? In this paper, we argue that analyzing fine-tuning through the lens of intrinsic dimension provides us with empirical and theoretical intuitions to explain this remarkable phenomenon. We empirically show that common pre-trained models have a very low intrinsic dimension; in other words, there exists a low dimension reparameterization that is as effective for fine-tuning as the full parameter space. For example, by optimizing only 200 trainable parameters randomly projected back into the full space, we can tune a RoBERTa model to achieve 90\\% of the full parameter performance levels on MRPC. Furthermore, we empirically show that pre-training implicitly minimizes intrinsic dimension and, perhaps surprisingly, larger models tend to have lower intrinsic dimension after a fixed number of pre-training updates, at least in part explaining their extreme effectiveness. Lastly, we connect intrinsic dimensionality with low dimensional task representations and compression based generalization bounds to provide intrinsic-dimension-based generalization bounds that are independent of the full parameter count.

研究动机与目标

• 理解为何在参数量庞大且标注数据有限的情况下，微调大规模预训练语言模型仍能实现极佳泛化。
• 探究微调成功是否源于预训练表示空间中下游任务的内在低维性。
• 考察预训练如何在未直接访问下游任务的情况下，隐式最小化其内在维度。
• 基于内在维度而非完整参数量推导泛化边界，为模型泛化提供新的理论视角。
• 通过实证方法测量并比较一系列预训练模型与任务的内在维度，揭示模型规模相关的趋势。

提出的方法

• 通过在完整参数空间的低维子空间中进行优化（利用随机投影），测量微调的内在维度，并评估性能。
• 使用随机投影技术，将少量可训练参数（例如200个）映射到完整模型的参数空间中，模拟低维优化过程。
• 应用基于压缩的泛化边界（Arora et al., 2018），推导依赖于内在维度 $ d $ 而非完整参数量 $ D $ 的边界。
• 在多个自然语言处理任务和预训练模型中，关联内在维度与泛化差距及模型性能。
• 在12个以上的预训练模型上开展实证研究，分析模型规模与内在维度之间的关系。
• 将预训练解释为隐式最小化下游任务的描述长度（即内在维度），从而作为NLP任务的压缩框架。

实验结果

研究问题

• RQ1 能否仅使用少量有效参数对大规模预训练语言模型进行微调，从而实现接近最优的性能？
• RQ2 预训练是否隐式降低了下游任务的内在维度？若如此，这与模型性能有何关联？
• RQ3 模型大小与内在维度之间是否存在相关性？这一关系是否可解释更大模型性能更优的现象？
• RQ4 内在维度能否作为与完整模型参数量无关的泛化边界的依据？
• RQ5 在多样化的自然语言处理基准上，内在维度与泛化差距及下游任务准确率之间有何关系？

主要发现

• 仅使用200个随机投影参数对RoBERTa模型进行微调，即可在MRPC数据集上达到完整微调90%的性能。
• 模型大小与内在维度之间存在强烈负相关：更大的预训练模型通常具有更低的内在维度，尤其是在经过固定次数的预训练更新后。
• 任务间内在维度越低，评估准确率越高，且相对泛化差距越小。
• 基于压缩的泛化边界依赖于内在维度 $ d $，其增长形式为 $ ilde{O}( ext{sqrt}(d/m)) $，其中 $ d $ 为内在维度，$ m $ 为训练样本数，且独立于完整模型的参数量 $ D $。
• 预训练过程隐式最小化了下游任务的描述长度，有效充当了NLP任务的压缩框架。
• 实证结果表明，内在维度是比模型大小本身更优的泛化预测指标，低内在维度始终与更好的泛化性能相关。