[论文解读] Clinical Named Entity Recognition using Contextualized Token Representations

Yichao Zhou, Chelsea J.‐T. Ju+7 more|arXiv (Cornell University)|Jun 23, 2021

Topic Modeling参考文献 36被引用 8

一句话总结

本文提出领域特定的上下文嵌入模型 C-ELMo 和 C-Flair，基于 PubMed Central 中的临床病例报告进行预训练，以提升临床命名实体识别（CNER）性能。通过在临床语料上应用深度双向语言模型，该方法在 F1 分数上实现显著提升——相比静态嵌入最高提升 10.31%，证明领域特定的预训练可增强细粒度临床实体识别任务的性能。

ABSTRACT

The clinical named entity recognition (CNER) task seeks to locate and classify clinical terminologies into predefined categories, such as diagnostic procedure, disease disorder, severity, medication, medication dosage, and sign symptom. CNER facilitates the study of side-effect on medications including identification of novel phenomena and human-focused information extraction. Existing approaches in extracting the entities of interests focus on using static word embeddings to represent each word. However, one word can have different interpretations that depend on the context of the sentences. Evidently, static word embeddings are insufficient to integrate the diverse interpretation of a word. To overcome this challenge, the technique of contextualized word embedding has been introduced to better capture the semantic meaning of each word based on its context. Two of these language models, ELMo and Flair, have been widely used in the field of Natural Language Processing to generate the contextualized word embeddings on domain-generic documents. However, these embeddings are usually too general to capture the proximity among vocabularies of specific domains. To facilitate various downstream applications using clinical case reports (CCRs), we pre-train two deep contextualized language models, Clinical Embeddings from Language Model (C-ELMo) and Clinical Contextual String Embeddings (C-Flair) using the clinical-related corpus from the PubMed Central. Explicit experiments show that our models gain dramatic improvements compared to both static word embeddings and domain-generic language models.

研究动机与目标

• 为解决静态词嵌入在捕捉临床术语上下文依赖语义方面的局限性。
• 通过在领域特定的临床文本上预训练上下文嵌入，提升临床命名实体识别（CNER）性能。
• 评估领域特定预训练是否优于通用预训练在临床 NLP 任务中的表现。
• 比较词级别（C-ELMo）与字符级别（C-Flair）上下文嵌入在临床实体识别中的有效性。
• 提供公开可获取、专为临床病例报告分析设计的高性能上下文嵌入。

提出的方法

• 使用来自 PubMed Central 的大规模临床语料，预训练两种深度上下文嵌入语言模型——C-ELMo 和 C-Flair。
• C-ELMo 利用双向语言模型（biLM）从子词和词级别表示生成词级别的上下文嵌入。
• C-Flair 采用字符级别的双向 LSTM 生成上下文嵌入，能够有效处理罕见或未登录词。
• 在序列标注框架（如 CRF）中微调上下文嵌入，用于在多个数据集上进行临床实体识别。
• 通过拼接方式将预训练嵌入与 GloVe 嵌入结合，以增强表示的丰富性。
• 在三个基准 CNER 数据集（MACCROBAT2018、i2b2-2010 和 NCBI-disease）上，使用标准指标（精确率、召回率、F1）评估性能。

实验结果

研究问题

• RQ1 与通用领域预训练相比，是否在领域特定的临床语料上预训练上下文嵌入能提升 CNER 性能？
• RQ2 词级别（C-ELMo）与字符级别（C-Flair）上下文嵌入在识别多样化临床实体类型方面表现如何？
• RQ3 上下文嵌入在临床实体识别任务中相比静态词嵌入（如 GloVe）能提升多少性能？
• RQ4 当与高质量、领域特定的上下文嵌入结合时，轻量级下游模型能否实现最先进性能？
• RQ5 为何某些实体类型（如剂量、严重程度）在 C-ELMo 和 C-Flair 上表现存在差异？

主要发现

• C-ELMo 和 C-Flair 分别在 MACCROBAT2018、i2b2-2010 和 NCBI-disease 数据集上，将 F1 分数分别提升 10.31%、7.50% 和 6.94%，优于静态的 GloVe 嵌入。
• 在 MACCROBAT2018 和 NCBI-disease 数据集上，GloVe 与 C-ELMo 拼接的组合达到最高 F1 分数；而在 i2b2-2010 上，GloVe 与 C-Flair 的组合表现最佳。
• 在领域特定临床语料上进行预训练的性能优于使用通用领域语言模型，证实了领域知识在嵌入学习中的价值。
• C-Flair 在 'Dosage' 实体类型上表现更优，可能得益于其对数字和符号格式（如 '60 mg/m2'）的字符级建模能力。
• C-ELMo 在 'Severity' 和 'Detailed Description' 类型上优于 C-Flair，表明其在捕捉复杂修饰语的词级别语义上下文方面更具优势。
• 尽管 BioBERT 在 NCBI-disease 上表现优异，但在 MACCROBAT2018 和 i2b2-2010 上并未超越所提出模型，表明资源高效、领域特定的模型可能比大型通用模型更有效。