[论文解读] A Probabilistic Approach to Lexical Semantic Knowledge Acquisition and S tructural Disambiguation

Hang Li|ArXiv.org|Dec 1, 1998

Natural Language Processing Techniques参考文献 2被引用 14

一句话总结

本文提出了一种基于统计估计、最小描述长度（MDL）原则和高效学习算法的概率框架，用于词汇语义知识获取与结构消歧。该框架将案例槽泛化、案例依赖学习和词语聚类形式化为统计估计问题，在介词短语依附消歧任务中实现了85.2%的准确率，优于当时最先进的方法。

ABSTRACT

In this thesis, I address the problem of automatically acquiring lexical semantic knowledge, especially that of case frame patterns, from large corpus data and using the acquired knowledge in structural disambiguation. The approach I adopt has the following characteristics: (1) dividing the problem into three subproblems: case slot generalization, case dependency learning, and word clustering (thesaurus construction). (2) viewing each subproblem as that of statistical estimation and defining probability models for each subproblem, (3) adopting the Minimum Description Length (MDL) principle as learning strategy, (4) employing efficient learning algorithms, and (5) viewing the disambiguation problem as that of statistical prediction. Major contributions of this thesis include: (1) formalization of the lexical knowledge acquisition problem, (2) development of a number of learning methods for lexical knowledge acquisition, and (3) development of a high-performance disambiguation method.

研究动机与目标

• 以系统且统计上可靠的方式解决从语料数据中获取词汇语义知识（尤其是案例框架模式）的挑战。
• 通过利用所学的词汇知识，解决句法解析中的结构消歧问题。
• 通过MDL原则和高效的模型估计方法，缓解统计自然语言处理中的数据稀疏性问题。
• 开发一种结合词语聚类与案例槽泛化的高精度消歧方法。
• 通过将复杂词汇知识获取问题分解为三个子问题（案例槽泛化、案例依赖学习、词语聚类），实现形式化与求解。

提出的方法

• 使用硬性与软性案例槽模型来建模案例槽泛化，其中硬性变体受限于基于现有同义词典的树切分模型。
• 应用MDL原则学习最优模型，确保理论上的合理性，并有效处理数据稀疏性问题。
• 采用高效的动态规划算法，在O(N)时间内找到最优树切分模型。
• 使用Suzuki的算法学习依赖森林模型以表示案例依赖，通过统计度量对节点对进行排序，并在不形成环路的前提下逐步添加连接。
• 应用2D-聚类算法，通过迭代合并互信息损失最小的词类，学习硬性共现模型。
• 在消歧流水线中结合硬性共现模型与树切分模型：首先使用共现似然度，其次使用树切分似然度，若所有值相等则进行默认处理。

实验结果

研究问题

• RQ1 如何以统计上合理的方式，从语料数据中可靠地获取词汇语义知识，特别是案例框架模式？
• RQ2 如何利用MDL等模型选择标准，有效缓解词汇知识获取中的数据稀疏性问题？
• RQ3 如何以最优方式学习案例槽之间的依赖关系，使其能有效泛化到未见结构？
• RQ4 如何高效地进行词语聚类，以同时支持消歧与知识泛化？
• RQ5 结合共现与分层泛化的混合模型是否能优于现有消歧方法？

主要发现

• 所提方法在介词短语依附任务中实现了85.2%的消歧准确率，优于当时最先进的方法。
• MDL原则的应用有效缓解了数据稀疏性，实现了稳健的模型选择。
• 基于动态规划的树切分模型算法在MDL准则下保证了最优解。
• 依赖森林学习算法通过排序与逐步添加连接，高效识别出显著的案例槽依赖关系。
• 用于词语聚类的2D-聚类算法在迭代合并过程中最小化互信息损失，提升了聚类质量。
• 混合消歧策略（优先使用共现模型，再使用树切分模型）在似然度相等时仍能有效解决歧义。