[论文解读] Knowledge-Based Biomedical Word Sense Disambiguation with Neural Concept Embeddings and Distant Supervision.

A. K. M. Sabbir, Antonio Jimeno Yepes+1 more|arXiv (Cornell University)|Oct 26, 2016

Topic Modeling参考文献 40被引用 8

一句话总结

该论文提出了一种基于知识的生物医学词义消歧方法，采用神经概念嵌入和远程监督，利用MetaMap提取概念向量，无需人工标注数据。在MSH WSD数据集上达到92.24%的准确率，较以往基于知识或无监督的方法高出3%，表明从无标注文本中进行表征学习可与监督方法在生物医学领域相媲美。

ABSTRACT

Biomedical word sense disambiguation (WSD) is an important intermediate task in many natural language processing applications such as named entity recognition, syntactic parsing, and relation extraction. In this paper, we employ knowledge-based approaches that also exploit recent advances in neural word/concept embeddings to improve over the state-of-the-art in biomedical WSD using the MSH WSD dataset as the test set. Our methods involve distant supervision - we do not use any hand-labeled examples for WSD to build our prediction models; however, we employ an existing well known named entity recognition and concept mapping program, MetaMap, to obtain our concept vectors. Over the MSH WSD dataset, our linear time (in terms of numbers of senses and words in the test instance) method achieves an accuracy of 92.24% which is an absolute 3% improvement over the best known results obtained via unsupervised or knowledge-based means. A more expensive approach that we developed relies on a nearest neighbor framework and achieves an accuracy of 94.34%. Employing dense vector representations learned from unlabeled free text has been shown to benefit many language processing tasks recently and our efforts show that biomedical WSD is no exception to this trend. For a complex and rapidly evolving domain such as biomedicine, building labeled datasets for larger sets of ambiguous terms may be impractical. Here we demonstrate that distant supervision that leverages recent advances in representation learning can rival supervised approaches in biomedical WSD.

研究动机与目标

• 通过结合神经概念嵌入改进基于知识的生物医学词义消歧（WSD）性能。
• 通过避免人工标注，解决生物医学领域大规模标注数据集构建不切实际的问题。
• 评估使用预训练概念表示的远程监督是否可与或超越监督式WSD方法。
• 证明无标注生物医学文本中学习到的密集向量表示在提升WSD准确率方面的有效性。

提出的方法

• 该方法使用MetaMap将生物医学术语映射到UMLS概念，为每个歧义词生成概念向量。
• 从大规模无标注生物医学文本中学习神经概念嵌入，捕捉概念之间的语义关系。
• 通过将与每个歧义词关联最频繁的UMLS概念作为代理标签，应用远程监督。
• 采用线性时间算法，基于上下文向量与概念嵌入之间的余弦相似度计算词义得分。
• 还实现了计算更密集的最近邻框架，利用k个最近邻的概念向量预测正确词义。
• 该方法完全避免使用人工标注的WSD样本，仅依赖现有的命名实体识别和概念映射工具。

实验结果

研究问题

• RQ1 在不依赖人工标注训练数据的情况下，神经概念嵌入能否提升生物医学词义消歧性能？
• RQ2 在生物医学领域，使用MetaMap生成的概念映射进行远程监督，与监督式或无监督WSD方法相比表现如何？
• RQ3 在生物医学等复杂且不断演化的领域中，无标注文本中的密集表示能在多大程度上提升WSD性能？
• RQ4 基于概念相似性的线性时间方法在准确率和效率方面是否优于更复杂的最近邻方法？

主要发现

• 线性时间方法在MSH WSD数据集上达到92.24%的准确率，较最佳先前基于知识或无监督方法高出3个百分点的绝对提升。
• 基于最近邻的方法准确率达到94.34%，表明更复杂的相似度建模具有优势。
• 结果表明，从无标注文本中进行表征学习可显著提升WSD性能，即使完全无标注样本亦可实现。
• 通过MetaMap实现的远程监督可实现高质量WSD，且人工标注需求极低，适用于大规模生物医学词汇表的可扩展应用。
• 本研究证实，密集神经概念嵌入在生物医学WSD中极为有效，其性能可与监督方法比肩。