[论文解读] An Overview on Language Models: Recent Developments and Outlook

Chengwei Wei, Yun-Cheng Wang+2 more|arXiv (Cornell University)|Mar 10, 2023

Topic Modeling参考文献 210被引用 19

一句话总结

本论文综述传统语言模型和预训练语言模型在语言单位、架构、训练方法、评估与应用方面的研究，并讨论预训练时代的未来发展方向。

ABSTRACT

Language modeling studies the probability distributions over strings of texts. It is one of the most fundamental tasks in natural language processing (NLP). It has been widely used in text generation, speech recognition, machine translation, etc. Conventional language models (CLMs) aim to predict the probability of linguistic sequences in a causal manner, while pre-trained language models (PLMs) cover broader concepts and can be used in both causal sequential modeling and fine-tuning for downstream applications. PLMs have their own training paradigms (usually self-supervised) and serve as foundation models in modern NLP systems. This overview paper provides an introduction to both CLMs and PLMs from five aspects, i.e., linguistic units, architectures, training methods, evaluation methods, and applications. Furthermore, we discuss the relationship between CLMs and PLMs and shed light on the future directions of language modeling in the pre-trained era.

研究动机与目标

• 介绍 CLMs 和 PLMs，并澄清它们之间的关系与区别。
• 综述语言模型的语言单位、架构、训练方法、评估方法和应用。
• 讨论未来的研究方向，包括大型且高效的语言模型。

提出的方法

• 将 CLMs 定义为具有因果预测的自回归模型。
• 调查替代的 LM 家族（结构化、双向、置换）以及分词方案（字符、单词/子词、短语、句子）。
• 回顾架构（N-gram、最大熵、神经网络、RNN、Transformers）及其演变。
• 概述预训练目标（预测词、MLM、下一句、文本填充等）以及微调/提示策略（微调、适配器微调、提示微调）。
• 讨论评估方法（内在困惑度、双向 LM 的 PLL/PPPL，以及外在基准如 GLUE/SuperGLUE）以及超越单一指标的评估（效率、偏见、鲁棒性）。

实验结果

研究问题

• RQ1 在训练、因果性和标记表示方面，CLMs 与 PLMs 有何不同？
• RQ2 哪些是关键的 LM 架构和分词选择，它们如何影响性能？
• RQ3 哪些预训练目标与微调/提示策略能够实现有效的下游迁移？
• RQ4 语言模型如何在内在与外在方面进行评估，以及它们之间的关系？
• RQ5 在预训练时代，语言模型的未来方向与挑战是什么？

主要发现

• PLMs 已成为现代NLP的主导基础模型，从大规模无标注语料中学习并为任务进行微调。
• 双向与置换式的语言模型提供了相对于严格因果预测的替代方案，并实现更灵活的表示。
• 子词分词（BPE、WordPiece）缓解了未登录词问题，并在词汇规模与表达能力之间取得平衡。
• Transformers 使长距离依赖和并行训练成为可能，编码器、解码器以及编码器-解码器变体适用于不同任务。
• 预训练目标、微调策略和提示方法影响下游表现和任务适应性。
• 超越传统指标，效率、偏见和鲁棒性是语言模型评估中的关键考量。