[论文解读] Higher order features and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation.

Antonio Jimeno Yepes|arXiv (Cornell University)|Apr 9, 2016

Natural Language Processing Techniques参考文献 43被引用 4

一句话总结

本文提出了一种使用高阶特征和长短期记忆（LSTM）循环神经网络的监督式生物医学词义消歧方法。通过将一元特征与词嵌入相结合，该方法在MSH WSD数据集上实现了95.97的新最先进准确率，表明词嵌入能够增强传统特征，并通过LSTM实现有效的序列建模。

ABSTRACT

Word sense disambiguation helps identifying the proper sense of ambiguous words in text. With large terminologies such as the UMLS Metathesaurus ambiguities appear and highly effective disambiguation methods are required. Supervised learning algorithm methods are used as one of the approaches to perform disambiguation. Features extracted from the context of an ambiguous word are used to identify the proper sense of such a word. The type of features have an impact on machine learning methods, thus affect disambiguation performance. In this work, we have evaluated several types of features derived from the context of the ambiguous word and we have explored as well more global features derived from MEDLINE using word embeddings. Results show that word embeddings improve the performance of more traditional features and allow as well using recurrent neural networks based on Long-Short Term Memory (LSTM) nodes, which further improve the disambiguation performance. The combination of unigrams and word embeddings set a new state of the art performance with an accuracy of 95.97 in the MSH WSD data set.

研究动机与目标

• 通过先进的特征工程，提升生物医学文本中的监督式词义消歧性能。
• 评估高阶上下文特征对消歧性能的影响。
• 探索从MEDLINE中提取的词嵌入在增强特征表示方面的有效性。
• 整合长短期记忆（LSTM）网络以建模词义消歧中的序列上下文。
• 在MSH WSD基准数据集上建立新的最先进性能。

提出的方法

• 从生物医学文本中歧义词的上下文中提取一元特征。
• 利用大规模MEDLINE语料库生成全局词嵌入，以表示语义上下文。
• 将一元特征与预训练的词嵌入结合，以丰富特征表示。
• 使用长短期记忆（LSTM）网络对上下文中的序列依赖关系进行建模。
• 使用组合特征集训练监督学习模型，以对词义进行分类。
• 在MSH WSD数据集上优化模型，以最大化消歧准确率。

实验结果

研究问题

• RQ1 在生物医学词义消歧中，高阶上下文特征与传统一元特征相比表现如何？
• RQ2 从MEDLINE中提取的词嵌入在多大程度上提升了消歧性能？
• RQ3 基于LSTM节点的循环神经网络在与词嵌入结合时，是否能提升性能？
• RQ4 将一元特征与词嵌入结合对整体消歧准确率有何影响？
• RQ5 所提出的方法是否在MSH WSD基准上实现了最先进性能？

主要发现

• 将词嵌入与一元特征结合，显著提升了消歧性能，优于仅使用传统特征的方法。
• 基于LSTM的模型优于仅使用静态特征的模型，表明序列建模在上下文中的价值。
• 一元特征与词嵌入的结合在MSH WSD数据集上实现了95.97%的新最先进准确率。
• 词嵌入使得循环神经网络得以有效应用，否则这些网络在稀疏特征表示下表现不佳。
• 所提出的方法在处理高变异性的生物医学术语方面表现出鲁棒性和可扩展性。