[论文解读] Improving Statistical Language Model Performance with Automatically Generated Word Hierarchies

John McMahon, F.J. Smith|arXiv (Cornell University)|Mar 9, 1995

Natural Language Processing Techniques参考文献 50被引用 61

一句话总结

本文提出一种基于平均类别互信息的二叉自顶向下词聚类方法，利用一元语法和二元语法频率统计生成层次化词类。该系统通过结构标签（编码层次类隶属关系的n位数字）实现可变粒度语言建模，显著降低三元语法模型的困惑度（从438.6降至386.5），证明其在词基基线模型上的性能提升。

ABSTRACT

An automatic word classification system has been designed which processes word unigram and bigram frequency statistics extracted from a corpus of natural language utterances. The system implements a binary top-down form of word clustering which employs an average class mutual information metric. Resulting classifications are hierarchical, allowing variable class granularity. Words are represented as structural tags --- unique $n$-bit numbers the most significant bit-patterns of which incorporate class information. Access to a structural tag immediately provides access to all classification levels for the corresponding word. The classification system has successfully revealed some of the structure of English, from the phonemic to the semantic level. The system has been compared --- directly and indirectly --- with other recent word classification systems. Class based interpolated language models have been constructed to exploit the extra information supplied by the classifications and some experiments have shown that the new models improve model performance.

研究动机与目标

• 为解决n-gram语言模型在捕捉句法与语义上下文方面的局限性，引入词类。
• 开发一种自动化的无监督词分类系统，从原始语料统计中揭示语言结构。
• 通过将层次化词类信息整合到基于插值的模型中，提升统计语言模型的性能。
• 评估基于互信息聚类生成的结构标签是否能提升模型的泛化能力与鲁棒性。

提出的方法

• 该系统采用基于平均类别互信息的二叉自顶向下聚类算法，将词语分组为层次化类别。
• 词类以结构标签表示——独特的n位数字，其中最高有效位编码类隶属层级。
• 该方法处理语料中的一元语法与二元语法频率，识别统计上相似的词语上下文以进行聚类。
• 通过使用结构标签插值概率，增强三元语法语言模型，实现可变粒度上下文建模。
• 系统以测试集困惑度为主要指标，将基于类的模型与标准词基模型进行对比。
• 该方法避免手动标注与复杂参数调优，转而依赖信息论聚类与结构标签插值。

实验结果

研究问题

• RQ1 基于互信息的自动词聚类能否揭示英语中具有意义的句法与语义结构？
• RQ2 将层次化词类整合到语言模型中，是否能相比标准n-gram模型降低困惑度？
• RQ3 从聚类中衍生出的结构标签能否提升对语言上不同上下文的区分能力？
• RQ4 基于类的插值语言模型性能与词基基线模型相比如何？

主要发现

• 该自动词分类系统成功从语料数据中揭示了语言结构，涵盖音位至语义层级。
• 基于类的插值语言模型在测试集上达到386.5的困惑度，显著优于基线词基三元语法模型的438.6。
• 结构标签模型正确地为语法正确的句子（如“the boys eat the sandwiches”）分配更高概率，而为语法错误的句子（如“the boys seat the sandwiches”）分配更低概率。
• 该模型在区分语义与句法上不同的上下文方面表现出鲁棒性，例如“动词-限定词-名词”与“介词-限定词-名词”模式。
• 该系统优于其他近期的词分类方法，其优势与劣势与基于合并的方法形成互补。
• 结构标签的使用实现了可变粒度建模，使系统能更好地泛化于罕见或未见的词序列。