[论文解读] Generalizing Case Frames Using a Thesaurus and the MDL Principle

Hang Li, Naoki Abe|ArXiv.org|Jul 24, 1995

Natural Language Processing Techniques参考文献 63被引用 180

一句话总结

本文提出了一种新颖的方法，利用最小描述长度（MDL）原理和预存在的同义词典，从语料库数据中泛化案例框架。通过将词语划分建模为同义词典中的'树切分'，并优化最小描述长度，该方法高效地学习到泛化的案例框架模式，从而在提升介词短语附着消歧准确率方面优于或匹配现有方法，且具有更好的覆盖范围和鲁棒性。

ABSTRACT

We address the problem of automatically acquiring case-frame patterns from large corpus data. In particular, we view this problem as the problem of estimating a (conditional) distribution over a partition of words, and propose a new generalization method based on the MDL (Minimum Description Length) principle. In order to assist with the efficiency, our method makes use of an existing thesaurus and restricts its attention on those partitions that are present as `cuts' in the thesaurus tree, thus reducing the generalization problem to that of estimating the `tree cut models' of the thesaurus. We then give an efficient algorithm which provably obtains the optimal tree cut model for the given frequency data, in the sense of MDL. We have used the case-frame patterns obtained using our method to resolve pp-attachment ambiguity.Our experimental results indicate that our method improves upon or is at least as effective as existing methods.

研究动机与目标

• 为解决从有限语料数据中泛化案例框架的挑战，特别是由于基于词语的模型存在数据稀疏性问题。
• 开发一种理论坚实且计算高效的泛化案例框架模式学习方法，基于观察到的共现频率。
• 通过利用同义词典中的结构化先验知识，提升自然语言消歧任务（尤其是介词短语附着消歧）的性能。
• 提供一种稳健且可扩展的解决方案，在最小化对稀疏训练数据的过拟合的同时，实现有意义的泛化。

提出的方法

• 该方法将案例框架泛化建模为估计词语划分上的条件概率分布，使用MDL原理在模型复杂度与数据拟合之间取得平衡。
• 它将泛化限制在预存在的同义词典中的'树切分'上，将问题转化为选择最优树切分模型。
• 该方法使用MDL评估并选择最能压缩（最优）的树切分模型以适应给定的频率数据，确保理论最优性。
• 它采用一种贪心且高效的算法计算最优树切分模型，可证明最小化描述长度。
• 该方法结合同义词典中的词语相似度来平滑概率估计，避免对未见词语出现零概率。
• 它将MDL与默认模型结合，用于未分类情形，确保在消歧任务中实现完整覆盖。

实验结果

研究问题

• RQ1 能否有效将MDL原理应用于利用同义词典作为先验知识，从稀疏语料数据中泛化案例框架？
• RQ2 与Resnik和Hindle等现有方法相比，基于MDL的泛化在介词短语附着消歧任务中的准确率和覆盖范围方面表现如何？
• RQ3 将结构化的同义词典切分用作划分，是否能产生比基于词语的模型更具认知合理性且更鲁棒的泛化结果？
• RQ4 随着训练数据量的增加，该方法在多大程度上提升了消歧性能？
• RQ5 同时对核心名词和案例框架填充词进行联合泛化，是否能在不牺牲准确率的前提下进一步提升覆盖范围？

主要发现

• 基于MDL的方法在介词短语附着消歧任务中达到84.9%的准确率，优于先前方法（78.3%和82.2%），并显示出统计显著的提升。
• 当结合MDL与核心名词的额外泛化（MDL2）时，覆盖率达到100%，显著优于基线方法。
• 在所有数据规模下，MDL在准确率上均优于SA（选择性关联）方法，且随着数据增加，覆盖范围提升更快。
• 该方法的泛化更具直观性——例如，避免将'afternoon'与'acknowledgement'归为一类——表明其更符合人类语言直觉。
• 该算法在MDL原理下可保证找到最优树切分模型，确保理论严谨性和计算效率。
• 最终的'Combined2'方法（先应用MDL2，再应用LA和默认模型）在整体性能上表现最佳，准确率达到84.9%，覆盖率为100%。