[论文解读] LATTE: Latent Type Modeling for Biomedical Entity Linking

Ming Zhu, Busra Celikkaya+2 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 26被引用 4

一句话总结

LATTE 提出了一种用于生物医学实体链接的新型神经模型，通过联合学习提及和实体的隐式细粒度类型以改善消歧，利用交叉注意力机制和粗粒度类型的辅助监督。该模型在 MedMentions 和 3DNotes 数据集上达到最先进性能，在 MedMentions 上相比强基线模型实现了 5.8% 的 P@1 绝对提升，通过建模隐式语义类型实现。

ABSTRACT

Entity linking is the task of linking mentions of named entities in natural language text, to entities in a curated knowledge-base. This is of significant importance in the biomedical domain, where it could be used to semantically annotate a large volume of clinical records and biomedical literature, to standardized concepts described in an ontology such as Unified Medical Language System (UMLS). We observe that with precise type information, entity disambiguation becomes a straightforward task. However, fine-grained type information is usually not available in biomedical domain. Thus, we propose LATTE, a LATent Type Entity Linking model, that improves entity linking by modeling the latent fine-grained type information about mentions and entities. Unlike previous methods that perform entity linking directly between the mentions and the entities, LATTE jointly does entity disambiguation, and latent fine-grained type learning, without direct supervision. We evaluate our model on two biomedical datasets: MedMentions, a large scale public dataset annotated with UMLS concepts, and a de-identified corpus of dictated doctor's notes that has been annotated with ICD concepts. Extensive experimental evaluation shows our model achieves significant performance improvements over several state-of-the-art techniques.

研究动机与目标

• 解决由于发音相似术语和缺乏细粒度类型信息导致的生物医学实体链接歧义问题。
• 改善临床和生物医学文本中的实体消歧，因为表面特征不足以支持准确识别。
• 在无直接监督的情况下，联合学习提及和实体的隐式细粒度类型，利用粗粒度类型作为辅助指导。
• 通过利用字符级编码和基于类型的匹配，克服生物医学 NLP 中的 OOV 和缩写挑战。
• 开发一个统一框架，通过分层类型建模和基于注意力的相似度评分提升实体链接性能。

提出的方法

• LATTE 采用共享参数的双编码器架构，用于提及和候选实体的表示学习，结合词嵌入和字符嵌入。
• 引入一个隐式类型编码器，利用交叉注意力机制学习提及和实体的隐式细粒度类型。
• 通过提及和候选实体的隐式类型分布之间的分布相似性度量，指导消歧过程。
• 在粗粒度 UMLS 或 ICD 类型上训练已知类型分类器，为隐式类型学习提供监督信号。
• 通过交叉注意力机制计算提及与候选实体之间的上下文感知相似度，实现更优的语义匹配。
• 最终实体得分通过将提及和候选实体表示的点积输入前馈网络，并结合类型感知注意力机制计算得出。

实验结果

研究问题

• RQ1 当缺乏显式类型注释时，建模隐式细粒度类型是否能提升生物医学实体链接性能？
• RQ2 交叉注意力机制在生物医学领域中捕捉提及与候选实体之间语义相似性的有效性如何？
• RQ3 将粗粒度已知类型作为辅助监督是否能增强隐式类型的建模和实体链接的准确性？
• RQ4 隐式类型建模在多大程度上能够缓解生物医学文本中 OOV 词汇和缩写带来的挑战？
• RQ5 与仅使用表面特征或仅使用已知类型的模型相比，分层类型建模（隐式 + 已知类型）表现如何？

主要发现

• LATTE 在 MedMentions 上达到 P@1 88.46，在 3DNotes 上达到 87.98，优于所有基线模型和最先进模型。
• 在基线模型基础上增加隐式类型建模（LATTE_base+LT）后，MedMentions 的 P@1 提升 6.07%，3DNotes 提升 2.32%。
• 引入已知类型监督（LATTE_base+KT）在 MedMentions 上带来 7.71% 的 P@1 提升，在 3DNotes 上提升 3.72%，表明其具有显著正向影响。
• 完整版 LATTE 模型结合隐式类型和已知类型监督，性能最高，在 MedMentions 上相比最强基线实现 5.8% 的 P@1 绝对提升。
• 定性分析表明，LATTE 通过利用类型信息和字符级编码，有效处理了 OOV 词汇和缩写问题。
• 交叉注意力机制使模型在候选实体具有相同粗粒度类型但隐式语义类型不同时，仍能实现精确消歧。