[论文解读] Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models

Hong Liu, Sang Michael Xie+2 more|arXiv (Cornell University)|Oct 25, 2022

Topic Modeling被引用 5

一句话总结

本文挑战了在语言模型中将预训练损失作为下游性能代理的传统依赖，表明即使损失值最小且相同，模型的迁移能力仍可能大相径庭。研究识别出隐式偏差（特别是对更平坦极小值的偏好）是提升下游性能的关键驱动因素，证明了随机梯度下降（SGD）隐式倾向于更平坦的解，并通过实证验证了在预训练损失相同的情况下，平坦度与下游准确率之间存在强烈相关性。

ABSTRACT

Language modeling on large-scale datasets leads to impressive performance gains on various downstream language tasks. The validation pre-training loss (or perplexity in autoregressive language modeling) is often used as the evaluation metric when developing language models since the pre-training loss tends to be well-correlated with downstream performance (which is itself difficult to evaluate comprehensively). Contrary to this conventional wisdom, this paper shows that 1) pre-training loss cannot fully explain downstream performance and 2) flatness of the model is well-correlated with downstream performance where pre-training loss is not. On simplified datasets, we identify three ways to produce models with the same (statistically optimal) pre-training loss but different downstream performance: continue pre-training after convergence, increasing the model size, and changing the training algorithm. These experiments demonstrate the existence of implicit bias of pre-training algorithms/optimizers -- among models with the same minimal pre-training loss, they implicitly prefer more transferable ones. Toward understanding this implicit bias, we prove that SGD with standard mini-batch noise implicitly prefers flatter minima in language models, and empirically observe a strong correlation between flatness and downstream performance among models with the same minimal pre-training loss. We also prove in a synthetic language setting that among the models with the minimal pre-training loss, the flattest model transfers to downstream tasks.

研究动机与目标

• 挑战大语言模型中预训练损失（如困惑度）是下游性能可靠代理的假设。
• 探究为何在预训练损失接近最优值时，损失值相同的模型会表现出截然不同的下游性能，尤其是在损失饱和区域。
• 识别并分析自监督预训练中优化算法的隐式偏差，特别是与模型平坦度的关系。
• 从理论和实证两方面将模型平坦度与下游迁移能力建立联系，且独立于预训练损失。

提出的方法

• 在简化的文本数据集上开展受控实验，以隔离训练动态、模型规模和优化算法对下游性能的影响，同时保持预训练损失恒定。
• 通过海森矩阵的最小特征值衡量模型平坦度，并分析在预训练损失相同的模型中，平坦度与下游准确率的相关性。
• 理论上证明，在语言建模的饱和区域，小批量SGD隐式偏好更平坦的极小值，且无需引入人工标签噪声。
• 利用合成语言建模设置表明，在达到最小预训练损失的模型中，最平坦的模型在下游任务上泛化能力最强。
• 应用随机特征理论和浓度不等式，证明存在损失低且范数有界的解，支持平坦极小值的可行性。

实验结果

研究问题

• RQ1 为何在损失接近最优时，预训练损失相同的模型会表现出不同的下游性能？
• RQ2 预训练过程中，优化算法引入了哪些影响下游迁移能力的隐式偏差？
• RQ3 当预训练损失保持恒定时，模型平坦度与下游性能之间有何相关性？
• RQ4 监督学习中隐式偏差的理论分析能否推广至自监督语言建模？
• RQ5 训练算法或模型规模的选择是否在独立于预训练损失的情况下影响下游性能？

主要发现

• 使用标准SGD训练并持续训练至收敛后的模型，其下游性能优于在收敛时停止训练的模型，尽管两者的预训练损失完全相同。
• 在相同预训练损失下，大模型的性能优于小模型，表明存在对更小、迁移能力更弱配置的隐式偏好。
• 在相同预训练损失下，对抗性训练的模型下游性能劣于标准训练的模型，进一步凸显了算法隐式偏差的影响。
• 损失曲面的平坦度（通过海森矩阵最小特征值衡量）与下游性能之间存在强烈正相关性，且在预训练损失相同的模型中表现一致。
• 理论分析证明，小批量SGD在语言建模的饱和区域隐式偏好更平坦的极小值，且无需引入人工标签噪声。
• 在合成语言设置中，达到最小预训练损失的模型中，最平坦的模型在下游任务上展现出最佳的迁移能力。