[论文解读] Exploring automatic word sense disambiguation with decision lists and the Web

Eneko Agirre, David Martínez|ArXiv.org|Oct 17, 2000

Natural Language Processing Techniques参考文献 18被引用 92

一句话总结

本文使用 SemCor 和 DSO 语料库以及额外的网络获取训练数据，评估了决策列表在词义消歧中的表现。研究发现，尽管在人工标注语料库中，决策列表在高度多义词上的精确率可达到约 0.7，但自动获取的网络数据无法提升性能，跨语料库训练也无效，表明在手动整理数据之外扩展监督式词义消歧存在局限性。

ABSTRACT

The most effective paradigm for word sense disambiguation, supervised learning, seems to be stuck because of the knowledge acquisition bottleneck. In this paper we take an in-depth study of the performance of decision lists on two publicly available corpora and an additional corpus automatically acquired from the Web, using the fine-grained highly polysemous senses in WordNet. Decision lists are shown a versatile state-of-the-art technique. The experiments reveal, among other facts, that SemCor can be an acceptable (0.7 precision for polysemous words) starting point for an all-words system. The results on the DSO corpus show that for some highly polysemous words 0.7 precision seems to be the current state-of-the-art limit. On the other hand, independently constructed hand-tagged corpora are not mutually useful, and a corpus automatically acquired from the Web is shown to fail.

研究动机与目标

• 评估使用决策列表在细粒度 WordNet 词义上进行监督式词义消歧的可扩展性。
• 评估像 SemCor 和 DSO 这类人工标注语料库是否能够支持高精确率的词义消歧系统。
• 调查是否可自动从网络获取训练数据，以克服知识获取瓶颈。
• 确定跨语料库训练的极限以及决策列表对噪声和数据量的鲁棒性。

提出的方法

• 使用人工标注语料库（SemCor 和 DSO）训练决策列表，通过似然比对特征进行加权，以对词义消歧候选结果进行排序。
• 采用包括局部搭配、词性标注、词干形式以及 WordNet 中的语义场在内的特征集，以提升词义区分能力。
• 基于 Mihalcea & Moldovan (1999) 的方法，实现一个网络数据获取流水线，利用 WordNet 同义词和释义生成搜索查询，并提取候选示例。
• 通过跨语料库标注、精确率/协方差分析以及学习曲线评估性能，以判断数据充足性与抗噪能力。
• 测试从 WordNet 衍生出的粗粒度词义区分，以评估在标签粒度较低情况下的性能提升。

实验结果

研究问题

• RQ1 在现有人工标注语料库（如 SemCor 和 DSO）的基础上，决策列表能否在细粒度 WordNet 词义上实现高精确率？
• RQ2 一个语料库中获取的训练数据在多大程度上可被迁移至另一个语料库用于词义消歧？
• RQ3 自动获取的网络数据能否作为训练决策列表词义消歧系统的有效替代方案，替代人工标注语料库？
• RQ4 当使用细粒度 WordNet 词义的人工标注数据训练时，基于决策列表的词义消歧系统性能上限是多少？

主要发现

• 在 DSO 语料库中，决策列表在高度多义词上的精确率达到 0.70，表明这可能是当前此类系统在性能上的最先进上限。
• SemCor 提供了足够的数据以支持基础消歧任务，在通用文本中达到 0.68 的精确率，但性能在不同词语和词性间差异显著。
• 在 SemCor 和 DSO 之间进行跨语料库训练的结果令人失望，表明独立构建的人工标注语料库在词义标注上存在不兼容性，难以相互利用。
• 自动获取的网络数据无法提升性能，结果质量接近无用，可能由于检索到的示例存在噪声且不可靠。
• 从 WordNet 衍生出的粗粒度词义使决策列表的精确率达到 80%，表明降低词义粒度可提升系统鲁棒性与性能。
• DSO 语料库的学习曲线表明，对于使用细粒度 WordNet 词义和人工标注数据训练的系统，其性能上限已达到，表明更多数据带来的收益正在递减。