[论文解读] Assessing Language Models with Scaling Properties

Shuntaro Takahashi, Kumiko Tanaka‐Ishii|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 33被引用 5

一句话总结

本文提出通过自然语言的标度性质——特别是词汇分布和长程记忆——来评估语言模型，超越困惑度（perplexity）的局限。在 Wikitext-2 和 PTB 数据集上，对 n-gram、PCFG、Simon 和 Pitman-Yor 过程、层次化 PY 以及神经网络模型进行了测试，发现只有神经网络模型（尤其是 AWD-LSTM-Cache）能够再现如泰勒定律（Taylor’s law）和长程相关性等关键标度行为，其指数更接近自然语言，表明其在捕捉长期依赖方面具有优势，尽管尚未完全复现全部特性。

ABSTRACT

Language models have primarily been evaluated with perplexity. While perplexity quantifies the most comprehensible prediction performance, it does not provide qualitative information on the success or failure of models. Another approach for evaluating language models is thus proposed, using the scaling properties of natural language. Five such tests are considered, with the first two accounting for the vocabulary population and the other three for the long memory of natural language. The following models were evaluated with these tests: n-grams, probabilistic context-free grammar (PCFG), Simon and Pitman-Yor (PY) processes, hierarchical PY, and neural language models. Only the neural language models exhibit the long memory properties of natural language, but to a limited degree. The effectiveness of every test of these models is also discussed.

研究动机与目标

• 为解决困惑度在评估语言模型时的局限性，其无法揭示模型在泛化能力、语法结构和长期依赖方面的定性缺陷。
• 引入标度性质作为补充评估框架，量化生成文本在统计结构上与自然语言的接近程度。
• 识别哪些标度性质最能有效区分模型质量，特别是捕捉长程记忆和词汇动态的能力。
• 在真实世界数据集（如 Wikitext-2 和 PTB）上评估多种语言模型（包括 n-gram、概率文法和神经网络）的性能。
• 通过识别当前模型在复现自然语言统计丰富性方面的差距，为未来模型开发提供指导。

提出的方法

• 采用五种标度性质：词汇增长的齐夫定律（Zipf’s law）和希帕斯定律（Heaps’ law），以及长记忆的埃贝林方法（Ebeling’s method）、泰勒定律（Taylor’s law）和长程相关性。
• 从每种语言模型生成文本，并评估生成序列是否表现出与自然语言相同的标度指数。
• 通过最小二乘法拟合幂律关系，对经验数据（如频率与排名、词汇量增长、相关性衰减）估计标度指数。
• 将模型生成的指数与原始数据集（如 Wikitext-2、PTB）的指数进行比较，量化偏差与模型保真度。
• 采用两级评估机制：Q1 检查标度性质是否定性成立（幂律是否成立？），Q2 量化指数相似性。
• 以 AWD-LSTM-Cache 模型作为最先进性能的基准，比较其标度行为与其他模型的差异。

实验结果

研究问题

• RQ1 除神经网络外，其他语言模型是否能复现自然语言的标度性质，尤其是长程记忆？
• RQ2 神经语言模型在多大程度上复现了自然语言的标度指数，特别是在词汇增长和长程相关性方面？
• RQ3 在齐夫定律、希帕斯定律、埃贝林方法、泰勒定律和长程相关性中，哪种子标度性质最能有效评估模型质量？
• RQ4 数据集选择（如 Wikitext-2 与 PTB）是否显著影响语言模型长程记忆的评估结果？
• RQ5 标度性质能否揭示困惑度无法检测到的模型行为缺陷？

主要发现

• 只有神经语言模型，尤其是 AWD-LSTM-Cache，成功复现了自然语言的全部五种标度性质，尤其在长程相关性和泰勒定律方面表现突出。
• AWD-LSTM-Cache 在 Wikitext-2 上的泰勒指数为 0.59，接近原始文本的 0.62，表明其对长记忆结构的复现能力较强但尚未完全实现。
• 尽管困惑度有所提升，MoS（Mixture of Softmax）变体的长记忆质量下降，表现为泰勒指数降低，揭示了困惑度与记忆保真度之间的权衡。
• Simon 模型表现出强烈的长程相关性，但未能复现词汇标度特性，表明其与自然语言结构存在根本性不匹配。
• 神经模型在 PTB 数据集上未能复现长记忆，尽管 PTB 中存在较弱但依然存在的长程相关性，表明 PTB 不太适合用于评估长期依赖能力。
• 泰勒定律被证明是最可靠且信息量最高的评估指标，其指数相似性与模型质量高度相关，尤其在先进神经模型中表现显著。