QUICK REVIEW
[论文解读] Emergent Abilities of Large Language Models
Jason Lee, Yi Tay|arXiv (Cornell University)|Jun 15, 2022
一句话总结
这篇论文定义并综述大语言模型中的涌现能力,显示某些任务只有在大规模时才变得可实现,且不能从较小模型预测。它在少样本提示与增强提示下对涌现任务进行编目,讨论可能的解释、风险与未来方向。
ABSTRACT
Scaling up language models has been shown to predictably improve performance and sample efficiency on a wide range of downstream tasks. This paper instead discusses an unpredictable phenomenon that we refer to as emergent abilities of large language models. We consider an ability to be emergent if it is not present in smaller models but is present in larger models. Thus, emergent abilities cannot be predicted simply by extrapolating the performance of smaller models. The existence of such emergence implies that additional scaling could further expand the range of capabilities of language models.
研究动机与目标
- 在预训练 Transformer 语言模型的背景下定义涌现能力。
- 综述在少样本提示和增强提示方法中的观测涌现任务。
- 讨论与规模与涌现相关的因素、风险及未来方向。
提出的方法
- 将涌现定义为在较小模型中不存在但在较大模型中存在的能力。
- 绘制并分析以训练 FLOPs 或参数量作为规模轴的缩放曲线,以识别类似相变的行为。
- 汇编并综述以往工作中的涌现能力(BIG-Bench、MMLU、TruthfulQA 等)。
- 按提示范式(少样本、指令微调、草稿板等)对涌现能力进行分类。
- 提供一张涌现能力表,给出它们出现的规模(训练 FLOPs 和参数)。
- 讨论涌现的潜在解释以及超越规模的替代因素(数据质量、架构、目标函数等)。
实验结果
研究问题
- RQ1在大语言模型中,什么构成涌现能力?
- RQ2随着模型规模的扩大,哪些任务会变成涌现,它们在何种规模出现?
- RQ3增强提示与指令微调是否仅在大规模上才带来涌现收益?
- RQ4除了简单扩展规模之外,可能解释涌现能力的机制有哪些?
主要发现
- 只有在足够大的模型规模上才会出现涌现能力,无法通过对较小模型的外推来预测。
- 覆盖多种模型家族的少样本提示任务的涌现示例,共计八个(BIG-Bench 任务)。
- 增强提示策略(如链路思维、指令微调)在大规模上显示出涌现,有时需要数百亿参数或等效的 FLOPs。
- 某些任务(如 WiC)仅在极大规模或特定架构下才显示涌现(PaLM 与 GPT-3/Chinchilla 的对比)。
- 涌现不仅仅关于规模;数据质量、架构和训练目标函数等也会影响能力何时以及如何涌现。
- 随着扩展带来的风险(偏见、毒性、记忆化)伴随涌现而来,需要治理与缓解策略。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。