[论文解读] Biomedical Entity Linking with Contrastive Context Matching

Shogo Ujiie, Hayate Iso+1 more|arXiv (Cornell University)|Jun 14, 2021

Biomedical Text Mining and Ontologies参考文献 23被引用 4

一句话总结

BioCoM 是一种用于生物医学实体链接的对比学习框架，仅使用少量词典和原始 PubMed 文章进行训练，构建上下文感知模型。通过从词典匹配的句子中构建训练样本，并在上下文表征上应用对比学习，BioCoM 在低资源设置下实现了最先进性能，在三个基准数据集上显著优于先前方法。

ABSTRACT

We introduce BioCoM, a contrastive learning framework for biomedical entity linking that uses only two resources: a small-sized dictionary and a large number of raw biomedical articles. Specifically, we build the training instances from raw PubMed articles by dictionary matching and use them to train a context-aware entity linking model with contrastive learning. We predict the normalized biomedical entity at inference time through a nearest-neighbor search. Results found that BioCoM substantially outperforms state-of-the-art models, especially in low-resource settings, by effectively using the context of the entities.

研究动机与目标

• 开发一种在低资源条件下有效运行的生物医学实体归一化方法，特别是在缺乏人工标注数据时。
• 解决在小词典中同义词覆盖有限的情况下，将疾病术语链接到生物医学知识图谱统一概念的挑战。
• 通过利用上下文文本中的线索提升实体链接性能，即使缺乏直接的同义词匹配。
• 消除对大规模标注数据集或庞大知识图谱的依赖，使该方法在真实世界医疗 NLP 应用中更具实用性。
• 证明通过原始文本学习到的上下文感知表征可显著提升实体链接准确率，尤其在资源受限条件下。

提出的方法

• 通过将原始 PubMed 文章中的实体提及与小规模生物医学词典匹配，构建实体链接句子语料，形成训练样本。
• 使用对比学习训练上下文感知模型，利用上下文表征区分正确的实体-概念对与负样本对。
• 使用 PubMedBERT 编码实体提及及其上下文句子，从 [ENT] 标记的嵌入中提取上下文表征。
• 在推理阶段，通过使用学习到的上下文表征在嵌入空间中进行最近邻搜索来归一化输入实体。
• 利用最长匹配算法识别句子中的实体提及，确保输入提及与词典条目对齐。
• 通过开发集性能优化超参数，如最近邻数量（k=15）。

实验结果

研究问题

• RQ1 仅使用小词典和原始 PubMed 文章，不依赖任何人工标注数据，生物医学实体链接模型能否实现最先进性能？
• RQ2 在词典中缺少同义词的情况下，上下文信息的引入如何提升实体链接准确率？
• RQ3 在自动构建的词典匹配句子上应用对比学习，是否能生成优于现有自监督或有监督基线的上下文表征？
• RQ4 当词典中同义词数量减少时，模型性能如何变化？是否在模拟低资源场景下保持稳定或退化？
• RQ5 在嵌入空间中通过最近邻搜索进行上下文匹配，能在多大程度上超越仅依赖同义词匹配或固定嵌入的模型？

主要发现

• BioCoM 在 NCBID 上达到 60.3% 的准确率，在 BC5CDR-d 上达到 69.0%，在 MedMentions-d 上达到 71.4%，显著优于所有基线模型，包括 SapBert 和 PubMedBERT。
• 在 MedMentions-d 上，BioCoM 达到 71.4% 的准确率，较 SapBert（65.1%）提升 6.3 个百分点，较 PubMedBERT（45.2%）提升 26.2 个百分点。
• 当词典规模缩减至 39,959 个同义词时，BioCoM 仍保持强劲性能，表明其在低资源设置下相比其他模型具有更优鲁棒性。
• 定性分析显示，BioCoM 通过利用句子中如“基因易位”等上下文线索，正确将 'B-ALL' 链接到 'B-cell acute lymphoblastic leukemia'，而 SapBert 因缺乏上下文感知能力而失败。
• 一项错误预测的根源被追溯至最长匹配算法导致的错配，即 'carcinoma, non-small-cell lung' 被错误匹配而非 'renal cell carcinomas'，表明提及识别存在局限性。
• 结果证实，通过从原始文本中进行对比学习获得的上下文感知表征在生物医学实体链接任务中极为有效，即使在缺乏大规模标注或庞大知识图谱的条件下亦然。