[论文解读] Beyond Word N-Grams

Fernando C. N. Pereira, Yoram Singer+1 more|ArXiv.org|Jul 13, 1996

Algorithms and Data Compression参考文献 11被引用 11

一句话总结

本文提出了预测后缀树（PSTs），一种概率模型，通过使用高效的数据结构处理无限词汇表，并利用贝叶斯树混合模型提升预测性能。该方法在标准n-gram模型的基础上显著降低了困惑度，展现出在自然语言处理中词序列预测方面的理论与实践优势。

ABSTRACT

We describe, analyze, and evaluate experimentally a new probabilistic model for word-sequence prediction in natural language based on prediction suffix trees (PSTs). By using efficient data structures, we extend the notion of PST to unbounded vocabularies. We also show how to use a Bayesian approach based on recursive priors over all possible PSTs to efficiently maintain tree mixtures. These mixtures have provably and practically better performance than almost any single model. We evaluate the model on several corpora. The low perplexity achieved by relatively small PST mixture models suggests that they may be an advantageous alternative, both theoretically and practically, to the widely used n-gram models.

研究动机与目标

• 开发一种可扩展的、用于词序列预测的概率模型，以克服固定词汇表n-gram模型的局限性。
• 通过使用高效数据结构，将n-gram框架扩展至无限词汇表。
• 通过递归贝叶斯先验保持预测后缀树的混合，以提升预测准确性。
• 在真实语料上评估模型性能，并与标准n-gram基线模型进行比较。
• 证明PST混合模型的性能优于混合中的任意单一模型。

提出的方法

• 本文提出预测后缀树（PSTs），一种紧凑表示词序列条件概率分布的数据结构。
• 通过在所有可能的PSTs上使用递归先验，实现贝叶斯模型平均，有效维持树的混合。
• 通过动态扩展树结构而无需预先定义词汇表大小，支持无限词汇表。
• 采用分层贝叶斯框架，在训练过程中高效更新树结构和混合权重。
• 通过在树拓扑结构上使用递归先验分布，避免过拟合并实现泛化。
• 模型在大规模语料上进行训练，并以困惑度为主要指标进行评估。

实验结果

研究问题

• RQ1 能否构建一种概率语言模型，使其在无需预先定义词汇表大小的情况下，高效扩展至无限词汇表？
• RQ2 在预测后缀树上进行贝叶斯模型平均是否能超越单一n-gram模型的预测性能？
• RQ3 在树结构上使用递归先验是否能带来更好的泛化能力并降低困惑度？
• RQ4 PST混合模型在真实语料上的性能与标准n-gram模型相比如何？
• RQ5 紧凑的PST模型能否实现比更大n-gram模型更低的困惑度？

主要发现

• PST混合模型在多个语料上实现的困惑度显著低于标准n-gram模型，表明其具有更优的预测性能。
• 即使相对较小的PST混合模型也优于更大的n-gram模型，证明了其高效性与有效性。
• 贝叶斯混合方法在理论上优于混合中的任意单一模型。
• 通过动态树构建与紧凑表示，模型能够高效扩展至无限词汇表。
• 递归先验的使用实现了有效的正则化与泛化，而无需显式进行词汇表剪枝。
• 实证结果证实，PST混合模型是n-gram在理论与实践上的优越替代方案。