[论文解读] MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts

Sunil Mohan, Donghui Li|arXiv (Cornell University)|Feb 25, 2019

Biomedical Text Mining and Ontologies参考文献 14被引用 47

一句话总结

MedMentions 提供一个大型手工注释的生物医学语料库，将术语与 UMLS 概念关联起来，包括 ST21pv 子语料库和一个基线端到端实体识别/链接模型。

ABSTRACT

This paper presents the formal release of MedMentions, a new manually annotated resource for the recognition of biomedical concepts. What distinguishes MedMentions from other annotated biomedical corpora is its size (over 4,000 abstracts and over 350,000 linked mentions), as well as the size of the concept ontology (over 3 million concepts from UMLS 2017) and its broad coverage of biomedical disciplines. In addition to the full corpus, a sub-corpus of MedMentions is also presented, comprising annotations for a subset of UMLS 2017 targeted towards document retrieval. To encourage research in Biomedical Named Entity Recognition and Linking, data splits for training and testing are included in the release, and a baseline model and its metrics for entity linking are also described.

研究动机与目标

• 提供一个大型、富含注释的生物医学语料库，覆盖广泛，使用 UMLS 作为目标本体。
• 促进端到端的生物医学概念识别与链接的开发，包括由于本体规模庞大而出现的零样本场景。
• 提供一个面向文档检索与索引任务的 ST21pv 子语料库。
• 提供训练/验证/测试划分及基线指标，以评估未来的概念识别模型。

提出的方法

• 从 2016–2017 年随机选择 5,000 篇 PubMed 摘要，最终确定 4,392 篇英文生物医学摘要用于注释。
• 使用 2017 AA 版本和 GATE 工具，将每个生物医学术语注释为最具体的 UMLS 概念，确保术语不重叠。
• 将 ST21pv 作为 UMLS 的过滤后 21 种语义类型子集引入，用于有针对性的文档检索。
• 计算语料库统计并提供 60/20/20 的 train/dev/test 划分以及概念重叠分析。
• 在 ST21pv 数据上训练一个基线端到端概念识别与链接模型（TaggerOne），并报告术语级与文档级指标。

实验结果

研究问题

• RQ1 当映射到 UMLS 概念时，MedMentions 及其 ST21pv 子集的规模和覆盖范围如何？
• RQ2 在 MedMentions 上，基线端到端概念识别与链接模型在术语级和文档级的表现如何？
• RQ3 训练、开发和测试分区之间的概念重叠情况如何，测试中有多少未见标签？
• RQ4 在规模、本体覆盖和注释粒度方面，MedMentions 与其他大型生物医学语料库相比如何？

主要发现

• MedMentions 包含 4,392 篇摘要，总注释数为 352,496，链接到 34,724 个唯一概念。
• 经过过滤后，ST21pv 子语料库覆盖 2,327,250 个概念和 203,282 条注释。
• ST21pv 测试集包含 60%–20%–20% 的划分，其中测试集中有 42% 的概念在训练中未出现，且有 38% 在训练和开发中均未出现。
• 基线 TaggerOne 模型在 MM-ST21pv 测试数据上，在术语级达到 0.471 精确度、0.436 召回率、0.453 F1；在文档级达到 0.536 精确度、0.561 召回率、0.548 F1。