[论文解读] A Latent Space Theory for Emergent Abilities in Large Language Models

Hui Jiang|arXiv (Cornell University)|Apr 19, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种潜在空间理论，将大语言模型（LLMs）中涌现能力解释为对语言稀疏联合分布的贝叶斯推理，其中明确或ε-模糊的语言可实现精确推理。关键贡献在于表明，当模型作为边缘分布的通用逼近器时，LLMs的能力——如上下文学习和思维链提示——会随着模型和数据规模的扩大而涌现，并收敛至最优推理。

ABSTRACT

Languages are not created randomly but rather to communicate information. There is a strong association between languages and their underlying meanings, resulting in a sparse joint distribution that is heavily peaked according to their correlations. Moreover, these peak values happen to match with the marginal distribution of languages due to the sparsity. With the advent of LLMs trained on big data and large models, we can now precisely assess the marginal distribution of languages, providing a convenient means of exploring the sparse structures in the joint distribution for effective inferences. In this paper, we categorize languages as either unambiguous or ε-ambiguous and present quantitative results to demonstrate that the emergent abilities of LLMs, such as language understanding, in-context learning, chain-of-thought prompting, and effective instruction fine-tuning, can all be attributed to Bayesian inference on the sparse joint distribution of languages.

研究动机与目标

• 解释为何大语言模型（LLMs）的涌现能力仅在规模扩大时出现，尽管其通过无监督预训练进行训练。
• 形式化语言结构（特别是意图与信息之间联合分布的稀疏性）在实现推理中的作用。
• 建立LLM能力与潜在意图空间上贝叶斯推理之间的理论基础。
• 通过在具有不同模糊度水平的合成语言上进行模拟来验证该理论。
• 阐明随着模型和数据规模扩大，上下文学习与语言理解出现的条件。

提出的方法

• 根据给定信息下意图的条件概率，将语言分类为无歧义（Pr(θ|x) = 1）或ε-模糊（Pr(θ|x) ≥ 1−ε）。
• 将语言生成建模为两阶段随机过程：首先从先验q(θ)中采样意图θ，然后从q(x|θ)中生成信息x。
• 将LLMs视为边缘分布p(x)的通用密度逼近器，从而实现对潜在意图θ的推理。
• 使用KL散度衡量模型的条件分布p(y|x)与验证集上真实条件分布q(y|x,θ)之间的差距。
• 应用渐近分析表明，随着模型容量和训练数据的增加，p(x)收敛至真实边缘分布，从而实现精确的贝叶斯推理。
• 在具有可控模糊度水平的合成语言上进行模拟，并评估LLMs在语言理解与上下文学习任务上的表现。

Figure 1: Illustration of the convergence of the transformer-based LLMs as more and more training data is added. Left: the cross-entropy objective functions. Right: The average difference between the probability distributions $p_{\Lambda_{*}}(\mathbf{x})$ and $q(\mathbf{x})$ on an unseen validation

实验结果

研究问题

• RQ1 为何LLMs的涌现能力仅在规模扩大时出现，尽管其通过下一个词预测进行训练？
• RQ2 意图与信息之间联合分布的稀疏性如何使LLMs能够实现上下文学习与推理？
• RQ3 信息-意图映射中的模糊度（ε）在LLM能力涌现过程中起什么作用？
• RQ4 语言理解与上下文学习能否被正式解释为在潜在意图空间上的贝叶斯推理？
• RQ5 增加模型规模与训练数据如何导致分布逼近的收敛，从而实现涌现能力？

主要发现

• 当底层语言为无歧义时（Pr(θ|x) = 1），LLMs能实现精确的语言理解，模型与真实条件分布之间的KL散度最小。
• 对于ε-模糊语言，KL散度略有上升，但可通过在提示中增加更多上下文示例来降低。
• 在无歧义语言中，上下文学习性能保持稳定且KL散度较低，但在模糊语言中，除非提供更多信息示例，否则性能会下降。
• 随着训练数据和模型规模的增加，LLM估计的边缘分布p(x)收敛至真实分布q(x)，从而实现有效的贝叶斯推理。
• 理论分析表明，当模型和数据达到足够规模时，涌现能力会渐近出现，与观察到的缩放定律一致。
• 模拟结果证实，LLMs在ε值较低的合成语言上表现更优，验证了该理论关于模糊度与推理准确性的预测。

Figure 2: Illustration of language understanding (left) and in-context learning (right) of LLMs on synthetic languages with various levels of ambiguity.