[论文解读] Fast and Effective Biomedical Entity Linking Using a Dual Encoder

Rajarshi Bhowmik, Karl Stratos+1 more|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 19被引用 13

一句话总结

本文提出了一种基于 BERT 的双编码器模型，用于实现快速且准确的生物医学实体链接，能够同时处理文档中的所有提及，推理速度最高提升 25 倍，且准确率与最先进模型相当。该模型支持端到端的实体链接，联合进行提及跨度检测与消歧，相较于 SciSpacy 和 MedType 等模型在基准数据集上表现更优。

ABSTRACT

Biomedical entity linking is the task of identifying mentions of biomedical concepts in text documents and mapping them to canonical entities in a target thesaurus. Recent advancements in entity linking using BERT-based models follow a retrieve and rerank paradigm, where the candidate entities are first selected using a retriever model, and then the retrieved candidates are ranked by a reranker model. While this paradigm produces state-of-the-art results, they are slow both at training and test time as they can process only one mention at a time. To mitigate these issues, we propose a BERT-based dual encoder model that resolves multiple mentions in a document in one shot. We show that our proposed model is multiple times faster than existing BERT-based models while being competitive in accuracy for biomedical entity linking. Additionally, we modify our dual encoder model for end-to-end biomedical entity linking that performs both mention span detection and entity disambiguation and out-performs two recently proposed models.

研究动机与目标

• 为解决现有基于 BERT 的实体链接模型每次仅处理一个提及所导致的训练与推理延迟过高的问题。
• 开发一种集体式实体链接方法，通过单次前向传播同时解决文档中所有提及，提升速度而不损失准确率。
• 通过在单一双编码器框架内联合学习提及跨度检测与实体消歧，实现端到端的生物医学实体链接。
• 在不依赖语义类型信息的前提下，超越现有模型（如 SciSpacy 和 MedType）在端到端实体链接基准上的表现。
• 证明基于双编码器的密集检索方法可在保持快速推理速度的同时，实现高于 BM25 的召回率。

提出的方法

• 模型采用双编码器架构，通过 BioBERT 同时编码提及和候选实体表示，实现高效的相似度计算。
• 文档中所有提及并行编码，每个提及在单次前向传播中与知识库中的所有候选实体进行比较。
• 采用对比学习目标进行训练，结合难负样本和随机负样本采样，以提升表示质量。
• 对于端到端链接，模型通过多任务目标进行微调，联合预测提及跨度及其对应实体。
• 推理阶段采用穷举跨度搜索，生成所有可能的提及跨度，相较于基于 BIO 标注的方法提升召回率。
• 通过直接计算提及与所有实体之间的相似度分数，避免了单独的候选检索步骤，降低推理开销。

实验结果

研究问题

• RQ1 双编码器模型能否同时处理文档中的多个实体提及，实现比逐个提及处理模型更快的推理速度？
• RQ2 通过单次前向传播实现的集体式实体链接，其准确率是否能与现有最先进模型保持一致或进一步提升？
• RQ3 统一的双编码器模型能否在端到端设置下有效同时完成提及跨度检测与实体消歧？
• RQ4 所提模型在生物医学实体链接基准上的召回率与 F1 性能，相较于 BM25 及其他密集检索基线模型表现如何？
• RQ5 在实体类型多样的多类型生物医学数据集上，该模型是否能超越 TaggerOne 等专用模型？

主要发现

• 与最先进 BERT 基础实体链接模型 BLINK 相比，该模型在推理阶段最快可提升 25 倍。
• 由于所有提及批量处理，该集体式模型的训练速度比具有相同参数量的其他双编码器模型快 3 倍。
• 在 MedMentions 数据集上，开发集的 recall@10 达到 87.5，测试集达到 87.6，优于 BM25 和密集检索基线模型。
• 在 BC5CDR 数据集上，采用严格匹配协议的端到端实体链接任务中，该模型 F1 得分为 75.2，显著优于 SciSpacy（F1=22.3）和 MedType（F1=23.5）。
• 在 BC5CDR 数据集上，穷举跨度搜索方法的 F1 得分为 75.2，远高于基于 BIO 标注方法的 30.3，证明其有效性，尽管计算成本更高。
• 在 MedMentions 数据集上，该模型未使用语义类型信息，但在所有评估指标上均优于 MedType 和 SciSpacy。