[论文解读] A Large-Scale Multilingual Disambiguation of Glosses

José Camacho-Collados, Claudio Delli Bovi+2 more|arXiv (Cornell University)|Aug 24, 2016

Natural Language Processing Techniques参考文献 26被引用 3

一句话总结

本论文提出了一项大规模多语言消歧文本定义（释义）语料库，涵盖多个来源和263种语言，利用BabelNet的语义网络以及跨语言互补性，实现了超过90%的消歧精度。该语料库可通过 http://lcl.uniroma1.it/disambiguated-glosses 免费获取，在集成到最先进系统时，显著提升了开放信息抽取和义原聚类任务的性能。

ABSTRACT

Linking concepts and named entities to knowledge bases has become a crucial Natural Language Understanding task. In this respect, recent works have shown the key advantage of exploiting textual definitions in various Natural Language Processing applications. However, to date there are no reliable large-scale corpora of sense-annotated textual definitions available to the research community. In this paper we present a large-scale high-quality corpus of disambiguated glosses in multiple languages, comprising sense annotations of both concepts and named entities from a unified sense inventory. Our approach for the construction and disambiguation of the corpus builds upon the structure of a large multilingual semantic network and a state-of-the-art disambiguation system; first, we gather complementary information of equivalent definitions across different languages to provide context for disambiguation, and then we combine it with a semantic similarity-based refinement. As a result we obtain a multilingual corpus of textual definitions featuring over 38 million definitions in 263 languages, and we make it freely available at http://lcl.uniroma1.it/disambiguated-glosses. Experiments on Open Information Extraction and Sense Clustering show how two state-of-the-art approaches improve their performance by integrating our disambiguated corpus into their pipeline.

研究动机与目标

• 解决多语言自然语言处理应用中缺乏大规模、高质量、义原标注的文本定义语料库的问题。
• 通过利用定义中的跨语言和跨资源互补性，提升定义知识的可靠性和覆盖范围。
• 构建一个支持高覆盖率和高精度自然语言处理流水线的消歧释义语料库。
• 在内在和外在自然语言处理任务中评估该语料库的实用性，证明其对下游系统的影响。

提出的方法

• 利用BabelNet——一个大规模多语言语义网络——统一义原词表，并为消歧提供大规模目标。
• 收集跨语言和跨资源的等价定义，以丰富消歧的上下文信息。
• 应用基于语义相似度的精炼模块，使用NASARI向量提升消歧精度。
• 使用Babelfy和启发式方法（MCS）生成初始消歧分值，随后筛选高精度实例。
• 以标准化XML格式存储结果，每条定义均包含BabelNet ID、来源、表面形式匹配度和置信度分数等注释。
• 发布完整语料库和一个高精度子集，后者针对低错误率、高精度应用进行了优化。

实验结果

研究问题

• RQ1 文本定义中的跨语言和跨资源互补性是否能显著提升消歧性能？
• RQ2 在多语言、多源定义语料库上，能够实现多高的消歧精度？
• RQ3 该消歧释义语料库在提升下游自然语言处理任务（如开放信息抽取和义原聚类）方面的有效性如何？
• RQ4 该语料库的高精度子集能否作为可靠的语义网络或知识库增强工具？

主要发现

• 在三种语言的随机定义样本上，消歧系统实现了超过90%的精度，优于先前方法。
• 经NASARI语义相似度增强的高精度语料库版本，在SemEval维基百科义原聚类数据集上使F1分数提升了7.3分。
• 将消歧释义集成到开放信息抽取系统后，相较于原始流水线，性能得到可测量的提升。
• NASARI+释义模型在SemEval数据集上达到88.1%的准确率，优于基线模型和Dandala-multilingual系统。
• 完整语料库包含超过3800万条跨263种语言的消歧定义，是迄今已知最大的多语言释义语料库。
• 尽管高精度语料库规模较小，但其错误率显著降低，适用于高精度应用场景，如语义网络增强。