[论文解读] The MeSH-gram Neural Network Model: Extending Word Embedding Vectors with MeSH Concepts for UMLS Semantic Similarity and Relatedness in the Biomedical Domain

Saïd Abdeddaïm, Sylvestre Vimard+1 more|arXiv (Cornell University)|Nov 28, 2018

Topic Modeling参考文献 41被引用 8

一句话总结

本文提出 MeSH-gram，一种神经网络模型，通过在 PubMed MEDLINE 上训练时将词语替换为医学主题词（MeSH）描述符，扩展了 skip-gram 词嵌入方法。该模型在基准数据集上实现了优越的语义相似度性能，优于标准 skip-gram 模型，并与顶尖方法相当，且计算开销更小，无需外部资源。

ABSTRACT

Eliciting semantic similarity between concepts in the biomedical domain remains a challenging task. Recent approaches founded on embedding vectors have gained in popularity as they risen to efficiently capture semantic relationships The underlying idea is that two words that have close meaning gather similar contexts. In this study, we propose a new neural network model named MeSH-gram which relies on a straighforward approach that extends the skip-gram neural network model by considering MeSH (Medical Subject Headings) descriptors instead words. Trained on publicly available corpus PubMed MEDLINE, MeSH-gram is evaluated on reference standards manually annotated for semantic similarity. MeSH-gram is first compared to skip-gram with vectors of size 300 and at several windows contexts. A deeper comparison is performed with tewenty existing models. All the obtained results of Spearman's rank correlations between human scores and computed similarities show that MeSH-gram outperforms the skip-gram model, and is comparable to the best methods but that need more computation and external resources.

研究动机与目标

• 为解决在临床和研究文本中衡量生物医学概念之间语义相似度的挑战。
• 通过利用 UMLS Metathesaurus 中的结构化生物医学术语（通过 MeSH 描述符）改进现有词嵌入模型。
• 开发一种方法，在不依赖外部知识库或过度计算的情况下，实现语义相似度和相关性任务的高性能。
• 使用人工标注的相似度分数，基于既定基准对模型进行评估。

提出的方法

• MeSH-gram 模型通过在 PubMed MEDLINE 上训练时将词语替换为其对应的 MeSH 描述符，对 skip-gram 架构进行改进。
• 每个训练实例使用一个 MeSH 描述符作为中心词，其在滑动窗口内的相邻 MeSH 描述符作为上下文词。
• 模型使用随机梯度下降学习 MeSH 术语的稠密向量表示，以最大化预测上下文 MeSH 描述符的可能性。
• 从学习到的 MeSH 描述符向量中提取词嵌入，从而实现生物医学概念之间语义相似度的计算。
• 模型使用斯皮尔曼等级相关系数，与标准基准数据集上的人工标注相似度分数进行评估。
• 对比评估包括 300 维向量的 skip-gram 模型以及 20 种现有最先进模型。

实验结果

研究问题

• RQ1 在 skip-gram 框架中用 MeSH 描述符替换词语，能否提升生物医学领域语义相似度性能？
• RQ2 MeSH-gram 在语义相似度与人类判断的相关性方面，与标准 skip-gram 模型及其他最先进模型相比表现如何？
• RQ3 使用 MeSH 描述符在多大程度上减少了对外部知识或复杂架构的依赖？
• RQ4 该模型是否在最小化计算和资源需求的同时保持了强劲的性能？

主要发现

• MeSH-gram 在所有测试窗口大小下，显著优于使用 300 维向量的标准 skip-gram 模型。
• 尽管无需外部资源或复杂的训练流程，该模型仍实现了与最佳现有方法相当的斯皮尔曼相关性得分。
• MeSH-gram 在语义相似度和相关性基准数据集上表现出色，表明其有效捕捉了生物医学语义关系。
• 即使与依赖额外语言学或知识基特征的更复杂架构相比，该模型的性能依然具有竞争力。