[论文解读] Corpus-Based Word Sense Disambiguation

Atsushi Fujii|arXiv (Cornell University)|Apr 29, 1998

Natural Language Processing Techniques参考文献 138被引用 4

一句话总结

本文提出了一种基于语料库的动词词义消歧系统，采用基于相似度的方法，通过加权补足语的相似度计算句子实例之间的相似度。该方法引入了一种新颖的动词补足语加权方案，一种选择性示例检索策略以降低计算负载，并优化了相似度计算方法，在人工标注的语料库上实现了更高的准确率和效率，有效解决了动词多义性问题。

ABSTRACT

Resolution of lexical ambiguity, commonly termed ``word sense disambiguation'', is expected to improve the analytical accuracy for tasks which are sensitive to lexical semantics. Such tasks include machine translation, information retrieval, parsing, natural language understanding and lexicography. Reflecting the growth in utilization of machine readable texts, word sense disambiguation techniques have been explored variously in the context of corpus-based approaches. Within one corpus-based framework, that is the similarity-based method, systems use a database, in which example sentences are manually annotated with correct word senses. Given an input, systems search the database for the most similar example to the input. The lexical ambiguity of a word contained in the input is resolved by selecting the sense annotation of the retrieved example. In this research, we apply this method of resolution of verbal polysemy, in which the similarity between two examples is computed as the weighted average of the similarity between complements governed by a target polysemous verb. We explore similarity-based verb sense disambiguation focusing on the following three methods. First, we propose a weighting schema for each verb complement in the similarity computation. Second, in similarity-based techniques, the overhead for manual supervision and searching the large-sized database can be prohibitive. To resolve this problem, we propose a method to select a small number of effective examples, for system usage. Finally, the efficiency of our system is highly dependent on the similarity computation used. To maximize efficiency, we propose a method which integrates the advantages of previous methods for similarity computation.

研究动机与目标

• 通过基于语料库的方法提升动词多义性词义消歧的准确率。
• 解决由于大型标注数据库和人工监督导致的基于相似度的词义消歧系统计算成本过高的问题。
• 开发一种方法，从示例句中选择少量但有效的子集，以实现系统的高效运行。
• 通过整合先前方法的优势，优化句子实例之间的相似度计算。
• 在人工标注的动词词义语料库上评估所提出系统的有效性。

提出的方法

• 系统基于动词补足语之间相似度的加权平均值，计算输入句子与标注示例之间的相似度。
• 提出一种新颖的加权方案，用于在相似度计算中为每个动词补足语分配不同的重要性。
• 引入一种方法，从完整数据库中选择少量具有代表性的示例句，以减少搜索开销。
• 相似度计算方法整合了先前方法的优点，以最大化效率与准确率。
• 系统使用人工标注的语料库，其中每个示例句均标注了正确的动词词义。
• 最终的词义根据所选子集中最相似示例的词义标签进行分配。

实验结果

研究问题

• RQ1 如何有效计算句子实例之间的相似度，以实现动词词义消歧？
• RQ2 何种动词补足语加权方案可提升消歧准确率？
• RQ3 能否通过使用少量代表性示例集，在降低计算成本的同时保持高消歧性能？
• RQ4 如何结合现有相似度计算方法，以最大化效率与准确率？
• RQ5 所提出系统在人工标注的动词词义语料库上的表现如何？

主要发现

• 所提出的动词补足语加权方案显著提升了基于相似度的词义消歧准确率。
• 选择少量但有效的示例句子集可显著降低计算开销，同时不损害消歧性能。
• 集成的相似度计算方法在效率与准确率方面均优于单一的先前方法。
• 该系统在人工标注的动词词义语料库上实现了高消歧准确率，证明了所提方法的有效性。
• 该方法在实际自然语言处理任务（如机器翻译和信息检索）中具有可扩展性和实用性。
• 结果验证了基于语料库的动词词义消歧在采用优化相似度计算与选择性示例使用时的可行性。