[论文解读] Developing a general-purpose clinical language inference model from a large corpus of clinical notes

Madhumita Sushil, Dana Ludwig+2 more|arXiv (Cornell University)|Oct 12, 2022

Topic Modeling被引用 5

一句话总结

该论文提出了一种基于7500万条去识别化的临床笔记（来自UCSF）进行大规模微调的通用临床语言推理模型，采用领域特定词汇和BERT架构。该模型在公开基准测试中达到最先进性能，并在UCSF内部任务中显著优于现有模型，表明大规模、领域内预训练可显著提升文档编码与推理准确性，尤其在长文本中表现更优。

ABSTRACT

Several biomedical language models have already been developed for clinical language inference. However, these models typically utilize general vocabularies and are trained on relatively small clinical corpora. We sought to evaluate the impact of using a domain-specific vocabulary and a large clinical training corpus on the performance of these language models in clinical language inference. We trained a Bidirectional Encoder Decoder from Transformers (BERT) model using a diverse, deidentified corpus of 75 million deidentified clinical notes authored at the University of California, San Francisco (UCSF). We evaluated this model on several clinical language inference benchmark tasks: clinical and temporal concept recognition, relation extraction and medical language inference. We also evaluated our model on two tasks using discharge summaries from UCSF: diagnostic code assignment and therapeutic class inference. Our model performs at par with the best publicly available biomedical language models of comparable sizes on the public benchmark tasks, and is significantly better than these models in a within-system evaluation on the two tasks using UCSF data. The use of in-domain vocabulary appears to improve the encoding of longer documents. The use of large clinical corpora appears to enhance document encoding and inferential accuracy. However, further research is needed to improve abbreviation resolution, and numerical, temporal, and implicitly causal inference.

研究动机与目标

• 评估领域特定词汇和大规模临床语料对临床语言推理模型性能的影响。
• 开发一种能够处理多样化临床NLP任务的通用临床语言模型。
• 通过领域内预训练提升长临床文档的编码与推理准确性。
• 在公开基准和UCSF内部临床数据上评估模型在诊断编码与治疗类别推理任务中的表现。
• 识别当前临床语言模型在缩写解析、数值推理、时间推理和因果推理方面的局限性，为未来改进提供方向。

提出的方法

• 基于BERT架构，使用UCSF提供的7500万条去识别化临床笔记语料对双向编码器-解码器模型进行微调。
• 采用针对临床术语定制的领域特定词汇表，以提升医学概念的编码效果。
• 在大规模临床语料上进行预训练，以增强对长临床文档的上下文理解能力。
• 在包括临床概念识别、时间概念识别、关系抽取和医学语言推理在内的公开基准上评估模型性能。
• 在两个下游任务中开展系统内评估：使用UCSF出院小结进行诊断编码分配和治疗类别推理。
• 将模型性能与同等规模的最先进生物医学语言模型在公开和内部数据集上的表现进行对比。

实验结果

研究问题

• RQ1 使用领域特定词汇是否能提升临床语言推理性能，尤其是在长文档中？
• RQ2 在大规模临床语料上进行训练如何影响文档编码与推理准确性？
• RQ3 通用临床语言模型是否能在公开基准和机构特定临床任务中均优于现有模型？
• RQ4 当前临床语言模型的主要局限性是什么，特别是在缩写解析和因果推理方面？
• RQ5 领域内预训练在多大程度上提升了下游临床NLP任务（如诊断编码和治疗类别推理）的性能？

主要发现

• 该模型在标准公开基准任务上的表现与目前最优秀的公开生物医学语言模型相当。
• 在使用UCSF出院小结进行诊断编码分配和治疗类别推理的内部评估中，该模型显著优于现有模型。
• 使用领域特定词汇可提升长临床文档的编码效果，增强上下文理解能力。
• 大规模临床语料显著提升了文档级编码与推理准确性，尤其在复杂临床语境中表现突出。
• 该模型在缩写解析、数值推理、时间推理和隐含因果推理方面存在明显局限，提示未来研究需重点关注这些方向。
• 结果表明，使用大规模、多样化临床语料进行领域内预训练，对实现高性能临床语言理解至关重要。