[论文解读] Inducing Probabilistic Grammars by Bayesian Model Merging

Andreas Stolcke, Stephen M. Omohundro|arXiv (Cornell University)|Sep 13, 1994

Natural Language Processing Techniques参考文献 16被引用 17

一句话总结

该论文提出了一种贝叶斯模型合并框架，通过迭代地将初始的、数据特定的模型经由合并操作进行泛化，从而从正向语料中诱导出概率文法。通过最大化后验概率——在数据拟合与模型简洁性之间取得平衡——该方法实现了紧凑且可泛化的HMM、基于类别n元语法以及随机上下文无关文法，在结构归纳方面优于传统的Baum-Welch方法。

ABSTRACT

We describe a framework for inducing probabilistic grammars from corpora of positive samples. First, samples are {\em incorporated} by adding ad-hoc rules to a working grammar; subsequently, elements of the model (such as states or nonterminals) are {\em merged} to achieve generalization and a more compact representation. The choice of what to merge and when to stop is governed by the Bayesian posterior probability of the grammar given the data, which formalizes a trade-off between a close fit to the data and a default preference for simpler models (`Occam's Razor'). The general scheme is illustrated using three types of probabilistic grammars: Hidden Markov models, class-based $n$-grams, and stochastic context-free grammars.

研究动机与目标

• 为解决从训练数据中发现最优离散结构以构建概率模型的挑战，这是语音识别和自然语言处理等应用中的关键瓶颈。
• 将模型泛化形式化为贝叶斯推断问题，利用奥卡姆剃刀原则，在数据拟合与模型简洁性之间进行权衡。
• 开发一个统一且有原则的框架，用于跨HMM、n元语法和SCFG的概率文法归纳。
• 证明基于后验概率的合并方法在结构归纳中优于标准的似然最大化方法。

提出的方法

• 从一个初始模型M₀开始，该模型显式地将每个训练样本编码为唯一路径，从而最大化似然性，但缺乏泛化能力。
• 应用迭代的合并操作，将子结构（如状态或非终结符）合并，共享来自合并组件的转移和输出。
• 使用贝叶斯后验P(M|X) = P(M)P(X|M)/P(X)作为指导合并的准则，偏好在拟合度与简洁性之间达到平衡的模型。
• 采用优先队列或束搜索策略，探索能最大化即时后验增益的合并步骤，直至无法获得进一步增益为止。
• 通过在线式交替执行数据引入与合并操作，以维持模型规模的可控性。
• 定义先验P(M)以编码结构偏好，后验自然地基于绝对数据频率惩罚过度泛化。

实验结果

研究问题

• RQ1 基于贝叶斯后验准则，能否有效指导从正向训练样本中对概率文法结构进行泛化？
• RQ2 基于后验概率的模型合并方法与传统似然最大化方法（如Baum-Welch）相比，在发现正确HMM拓扑结构方面表现如何？
• RQ3 当数据频率较高但底层结构复杂时，贝叶斯框架在多大程度上能防止过度泛化？
• RQ4 同一套合并框架能否在HMM、n元语法和SCFG等不同概率模型中统一应用？
• RQ5 与仅使用相对频率的方法相比，将绝对数据频率包含在似然项中，对泛化能力有何影响？

主要发现

• 贝叶斯模型合并方法成功诱导出紧凑且可泛化的HMM，能够超越有限训练集进行泛化，例如从有限样本中捕捉到无限语言{ab}n。
• 对于HMM，该方法在结构归纳方面优于Baum-Welch估计，尤其在恢复真实底层拓扑结构方面表现更优。
• SCFG版本的算法简化并统一了先前CFG归纳的方法，提供了一种有原则的方式以平衡数据拟合度与模型复杂度。
• 该框架基于绝对数据频率惩罚过度泛化：当某一模式的样本频率提高100倍时，其泛化导致的对数似然损失也相应增加100倍，从而降低了过度泛化的可能性。
• 基于后验的合并过程自然地在最优模型处停止，当与搜索中的前瞻机制结合时，可避免陷入局部最大值。
• 该方法具有鲁棒性且符合认知合理性，其合并操作在概念上类似于非概率文法归纳中的等价类构造，暗示其具有更广泛的应用潜力。