[论文解读] GatorTron: A Large Clinical Language Model to Unlock Patient Information from Unstructured Electronic Health Records

Xi Yang, Chen, Aokun+16 more|arXiv (Cornell University)|Feb 2, 2022

Topic Modeling被引用 52

一句话总结

GatorTron 发展了一个大型临床语言模型（最高8.9B参数），在>90B词汇上训练（包括>82B经去识别的临床文本），并在5个临床NLP任务上进行评估，展现出随着规模扩大显著的性能提升。

ABSTRACT

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

研究动机与目标

• 推动开发一个大规模临床语言模型，以更好地利用非结构化的EHR数据。
• 研究参数规模和数据规模对临床NLP任务表现的影响。
• 系统性地在多项临床NLP任务上评估 GatorTron，以评估在任务之间的泛化能力。

提出的方法

• 从头开始训练 GatorTron，使用 >90B 词的文本，其中包括 >82B 的去识别临床文本。
• 将模型规模从 110M 参数扩展到 8.9B 参数，以研究性能提升。
• 在5项临床NLP任务上进行评估：临床概念提取、医疗关系提取、语义文本相似性、自然语言推理（NLI）和医学问答（MQA）。
• 比较不同模型规模下的性能，以评估参数扩展和数据规模的影响。

实验结果

研究问题

• RQ1 增加模型规模（参数）如何影响临床NLP任务的性能？
• RQ2 增加训练数据规模如何影响各任务的结果？
• RQ3 大型临床语言模型是否在提取、关系、相似性、NLI和问答等临床NLP任务中提供一致的收益？
• RQ4 在同时扩展参数和数据时，关键任务的相对提升是多少？

主要发现

• 模型规模从 110M 到 8.9B 参数在5项临床NLP任务上带来提升。
• 通过扩展，NLI 精度提升 9.6%。
• 通过扩展，MQA 精度提升 9.5%。
• 在 >90B 词汇上训练，其中包括 >82B 去识别的临床文本，支持显著的性能提升。
• GatorTron 模型可公开用于医学 AI 系统。