[论文解读] A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks

Nikunj Saunshi, Sadhika Malladi+1 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 49被引用 14

一句话总结

本文为在大规模语料上预训练的自回归语言模型为何在下游分类任务中泛化良好提供了理论依据。它表明，最优语言建模会诱导出适合线性分类的特征，其中 ϵ-最优模型可产生 O(ϵ)-优良的特征，并通过实验验证了这一点，同时提出了一种改进的损失函数，使线性任务上的性能得到提升。

ABSTRACT

Autoregressive language models pretrained on large corpora have been successful at solving downstream tasks, even with zero-shot usage. However, there is little theoretical justification for their success. This paper considers the following questions: (1) Why should learning the distribution of natural language help with downstream classification tasks? (2) Why do features learned using language modeling help solve downstream tasks with linear classifiers? For (1), we hypothesize, and verify empirically, that classification tasks of interest can be reformulated as next word prediction tasks, thus making language modeling a meaningful pretraining task. For (2), we analyze properties of the cross-entropy objective to show that ϵ-optimal language models in cross-entropy (log-perplexity) learn features that are O(ϵ)-good on natural linear classification tasks, thus demonstrating mathematically that doing well on language modeling can be beneficial for downstream tasks. We perform experiments to verify assumptions and validate theoretical results. Our theoretical insights motivate a simple alternative to the cross-entropy objective that performs well on some linear classification tasks.

研究动机与目标

• 为语言模型在零样本下游分类任务中取得的实证成功提供理论依据。
• 探究为何学习自然语言分布能提升分类任务的性能。
• 分析通过交叉熵语言建模学习到的特征如何支持线性分类。
• 通过实证实验验证理论假设，并提出一种改进的损失函数以提升线性任务性能。

提出的方法

• 将下游分类任务重新表述为下一个词预测任务，以证明语言建模作为预训练目标的合理性。
• 分析交叉熵目标，表明 ϵ-最优语言模型学习到的特征对线性分类具有 O(ϵ)-优良性。
• 基于对数困惑度（交叉熵）优化，推导出特征质量的理论边界。
• 设计并评估一种改进的损失函数，以提升在线性分类任务上的表现。
• 通过实证实验验证关于特征质量与泛化能力的理论假设。

实验结果

研究问题

• RQ1 下游分类任务能否被重新表述为下一个词预测任务，从而为语言建模作为预训练目标提供理论依据？
• RQ2 在语言建模中达到 ϵ-最优性在多大程度上能产生适合线性分类的特征？
• RQ3 交叉熵目标与下游线性分类任务的特征质量之间有何关系？
• RQ4 能否基于理论洞见设计出一种改进的损失函数，以提升在线性分类基准上的性能？

主要发现

• 下游分类任务可以被重新表述为下一个词预测任务，为语言建模作为预训练目标提供了理论基础。
• 在交叉熵（对数困惑度）下达到 ϵ-最优的语言模型，会学习到对自然线性分类任务具有 O(ϵ)-优良性的特征。
• 理论分析表明，最小化交叉熵损失可产生适合下游线性分类的特征表示。
• 实证实验验证了理论假设，并证明了所提出的改进损失函数在在线性分类任务上的有效性。
• 基于理论洞见设计的改进损失函数，在某些线性分类基准上相比标准交叉熵损失取得了更优的性能。