[论文解读] Evaluating Distributional Distortion in Neural Language Modeling

Benjamin LeBrun, Alessandro Sordoni+1 more|arXiv (Cornell University)|Mar 24, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出一个受控评估框架，用于评估神经语言模型（LSTMs 和 Transformers）对自然语言中罕见、新序列的概率估计。通过使用预训练的 Transformer 作为真实生成模型，构建具有精确序列概率的人工语言，研究发现神经语言模型系统性地低估了语法正确但罕见的序列的概率，同时高估了语法错误的序列，且低估现象在更多训练数据下依然存在，并在低熵分布中进一步加剧。

ABSTRACT

A fundamental characteristic of natural language is the high rate at which speakers produce novel expressions. Because of this novelty, a heavy-tail of rare events accounts for a significant amount of the total probability mass of distributions in language (Baayen, 2001). Standard language modeling metrics such as perplexity quantify the performance of language models (LM) in aggregate. As a result, we have relatively little understanding of whether neural LMs accurately estimate the probability of sequences in this heavy-tail of rare events. To address this gap, we develop a controlled evaluation scheme which uses generative models trained on natural data as artificial languages from which we can exactly compute sequence probabilities. Training LMs on generations from these artificial languages, we compare the sequence-level probability estimates given by LMs to the true probabilities in the target language. Our experiments reveal that LSTM and Transformer language models (i) systematically underestimate the probability of sequences drawn from the target language, and (ii) do so more severely for less-probable sequences. Investigating where this probability mass went, (iii) we find that LMs tend to overestimate the probability of ill formed (perturbed) sequences. In addition, we find that this underestimation behaviour (iv) is weakened, but not eliminated by greater amounts of training data, and (v) is exacerbated for target distributions with lower entropy.

研究动机与目标

• 探究神经语言模型（LSTMs 和 Transformers）在自然语言分布中对罕见、新序列的概率估计方式，这些序列虽个体概率低，但总体上具有重要意义。
• 弥补现有理解中对语言模型在语言分布长尾部分实例级性能的空白，因为标准指标（如困惑度）无法捕捉此类行为。
• 开发一种受控评估方案，利用从预训练 Transformer 生成的人工语言，实现真实序列概率的精确计算。
• 分析训练数据规模和目标分布特性（如熵）如何调节语言模型概率估计中的失真程度。
• 确定罕见、语法正确序列中被低估的概率质量被重新分配到何处，尤其与语法错误（扰动）序列进行比较。

提出的方法

• 使用在自然语言数据上微调的预训练 Transformer 语言模型（如 GPT-2）作为生成模型，定义具有已知、精确序列概率的人工语言。
• 从该生成模型中采样序列，构建下游语言模型（LSTM 和 Transformer）的训练语料，形成受控的目标分布。
• 在这些人工语料上分别训练语言模型，并将其预测的序列概率与生成模型的真实概率进行比较。
• 通过控制生成模型条件分布的熵，创建具有不同分布特性的语言（如高熵与低熵）。
• 通过引入小规模、句法错误的改动，对语法正确的序列进行扰动实验，并将语言模型的概率估计与原始真实概率进行比较。
• 使用序列级概率估计误差量化模型性能，重点关注罕见序列及其与真实分布的偏离程度。

实验结果

研究问题

• RQ1 神经语言模型是否系统性地低估自然语言分布中罕见、语法正确序列的概率？
• RQ2 低估程度如何随序列稀有度（即逆频率）变化？
• RQ3 被低估的罕见序列的概率质量被分配到何处——模型是否高估了语法错误或扰动序列？
• RQ4 增加训练数据量如何影响神经语言模型中概率失真的程度？
• RQ5 目标分布的特性（如熵）如何影响语言模型概率估计中低估的程度？

主要发现

• LSTM 和 Transformer 语言模型系统性地低估了从目标语言中抽取的语法正确序列的概率，尤其在更罕见的序列上。
• 低估现象在概率更低的序列上更为严重，表明模型未能充分表征分布的尾部。
• 被低估的概率质量并未重新分配给高频（头部）序列，而是被过度分配给语法错误或扰动序列。
• 增加训练数据可减少低估的幅度，但无法完全消除该问题，表明该问题根植于模型架构或训练过程本身。
• 在低熵目标分布中，低估现象更为严重，表明模型在结构化、非随机性更强的分布中面临更大困难。
• 结果表明，神经语言模型在序列空间中分配概率质量时过于均匀，未能将概率质量集中于尾部分布中高概率、语法正确的序列上。