[论文解读] Biomedical Entity Representations with Synonym Marginalization

Mujeen Sung, Hwisang Jeon+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 39被引用 7

一句话总结

该论文提出 BioSyn，一种通过最大化实体同义词在候选预测中的边缘似然来学习生物医学实体表示的新框架，避免了显式的负采样。通过基于模型预测迭代优化候选集，BioSyn 在四个生物医学实体归一化数据集上实现了最先进性能，top-1 准确率最高提升 2.6%，并在每个数据集上接近性能上限。

ABSTRACT

Biomedical named entities often play important roles in many biomedical text mining tools. However, due to the incompleteness of provided synonyms and numerous variations in their surface forms, normalization of biomedical entities is very challenging. In this paper, we focus on learning representations of biomedical entities solely based on the synonyms of entities. To learn from the incomplete synonyms, we use a model-based candidate selection and maximize the marginal likelihood of the synonyms present in top candidates. Our model-based candidates are iteratively updated to contain more difficult negative samples as our model evolves. In this way, we avoid the explicit pre-selection of negative samples from more than 400K candidates. On four biomedical entity normalization datasets having three different entity types (disease, chemical, adverse reaction), our model BioSyn consistently outperforms previous state-of-the-art models almost reaching the upper bound on each dataset.

研究动机与目标

• 解决由于同义词变异和同义词集不完整带来的生物医学实体归一化挑战。
• 消除在实体表示学习中从大候选池中进行显式负采样的需求。
• 通过基于模型预测迭代优化候选集，提升表示质量。
• 在多个生物医学实体归一化基准上实现最先进性能。

提出的方法

• BioSyn 使用共享编码器将输入提及和词典同义词嵌入到共享向量空间中。
• 通过最大化所有真实同义词出现在 top-k 预测候选中的似然，实现同义词边缘化。
• 模型同时采用稀疏和稠密表示，以捕捉实体的形态和语义特征。
• 在训练过程中，利用模型预测迭代更新候选集，随着训练推进，逐步聚焦于更困难的负例。
• 该框架通过依赖基于模型的候选选择避免显式负采样，降低计算成本并提升鲁棒性。
• 使用预训练的 BioBERT 作为共享编码器，以利用上下文化的生物医学表示。

实验结果

研究问题

• RQ1 同义词边缘化是否能在不依赖显式负采样的前提下提升生物医学实体表示学习？
• RQ2 基于模型预测的迭代候选选择在实体归一化中对性能有何影响？
• RQ3 基于同义词的表示模型在多大程度上能接近生物医学实体归一化的性能上限？
• RQ4 所提出方法在不同生物医学实体类型（如疾病、化学物质和不良反应）中是否具有泛化能力？

主要发现

• BioSyn 在四个生物医学实体归一化数据集上达到新的最先进性能，相比之前模型，top-1 准确率提升 0.8% 至 2.6%。
• 该模型在每个数据集上的性能均非常接近理论性能上限，表明其具备近乎最优的归一化能力。
• 迭代候选集优化显著提升了模型性能，尤其在处理困难负例方面表现突出。
• 错误分析表明，大多数失败案例源于标注模糊或预处理限制，而非模型缺陷，表明模型性能已接近上限。
• 该框架在三种不同生物医学实体类型（疾病、化学物质和不良反应）中均表现有效。
• 该方法具有鲁棒性和泛化能力，若具备同义词词典，可推广至其他语言。