[论文解读] MedGPT: Medical Concept Prediction from Clinical Narratives

Željko Kraljević, Anthony Shek+4 more|arXiv (Cornell University)|Jul 7, 2021

Machine Learning in Healthcare参考文献 23被引用 5

一句话总结

MedGPT 是一种基于 Transformer 的模型，通过首先使用 MedCAT 对自由文本电子健康记录（EHR）进行命名实体识别与链接（NER+L），将临床术语映射到标准化医学本体，从而将非结构化临床文本转化为结构化序列，然后应用因果语言建模（CLM）来预测连续的医疗概念，实现对未来医疗事件的预测。该模型在 LSTM 基线模型之上表现更优（top-5 时精确率：0.640 vs. 0.633），并通过注意力可解释性与多选题问答任务展示了临床推理能力。

ABSTRACT

The data available in Electronic Health Records (EHRs) provides the opportunity to transform care, and the best way to provide better care for one patient is through learning from the data available on all other patients. Temporal modelling of a patient's medical history, which takes into account the sequence of past events, can be used to predict future events such as a diagnosis of a new disorder or complication of a previous or existing disorder. While most prediction approaches use mostly the structured data in EHRs or a subset of single-domain predictions and outcomes, we present MedGPT a novel transformer-based pipeline that uses Named Entity Recognition and Linking tools (i.e. MedCAT) to structure and organize the free text portion of EHRs and anticipate a range of future medical events (initially disorders). Since a large portion of EHR data is in text form, such an approach benefits from a granular and detailed view of a patient while introducing modest additional noise. MedGPT effectively deals with the noise and the added granularity, and achieves a precision of 0.344, 0.552 and 0.640 (vs LSTM 0.329, 0.538 and 0.633) when predicting the top 1, 3 and 5 candidate future disorders on real world hospital data from King's College Hospital, London, UK ( extasciitilde600k patients). We also show that our model captures medical knowledge by testing it on an experimental medical multiple choice question answering task, and by examining the attentional focus of the model using gradient-based saliency methods.

研究动机与目标

• 开发一种通用模型，从电子健康记录（EHR）中的非结构化临床叙述中预测未来的医疗事件。
• 克服现有模型仅依赖结构化 EHR 数据或预测范围过窄的局限性。
• 通过将自由文本临床记录转换为标准化、有序的医疗概念序列，实现对患者病史的时间建模。
• 评估模型是否通过差异诊断推理和注意力可解释性捕捉了医学知识。
• 使用基于梯度的显著性方法提供可解释的预测结果，突出患者时间线上具有临床意义的标记。

提出的方法

• 利用 MedCAT 对非结构化 EHR 文本执行命名实体识别与链接（NER+L），将临床术语映射到标准化医学本体。
• 基于时间元数据，按时间顺序对医疗概念进行排序，构建患者病史的序列化表示。
• 采用基于 GPT-2 的因果语言建模（CLM）架构，预测序列中下一个医疗概念，实现自回归预测。
• 在目标任务（未来疾病预测）上端到端训练模型，无需进行掩码语言建模的预训练。
• 应用基于梯度的显著性方法，解释注意力权重，识别每个预测中对患者时间线最具影响力的标记。
• 在来自国王学院医院的真实世界 EHR 数据（约 60 万名患者）上评估模型性能，使用 top-1、top-3 和 top-5 的精确率作为评价指标。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能在不依赖结构化 EHR 数据的前提下，有效从非结构化临床叙述中预测未来医疗疾病？
• RQ2 MedGPT 在 top-1、top-3 和 top-5 排名候选结果中的疾病预测性能与基于 LSTM 的基线模型相比如何？
• RQ3 在多选题场景中，MedGPT 在多大程度上通过正确选择罕见或依赖上下文的诊断，展现出临床推理能力？
• RQ4 基于梯度的显著性方法是否能够识别出影响模型预测的临床相关标记（如症状、共病）？
• RQ5 MedGPT 是否通过其注意力机制捕捉了医疗知识的关联关系，如疾病与并发症之间的关联？

主要发现

• MedGPT 在真实世界 EHR 数据上预测未来前 5 种疾病时的精确率达到 0.640，优于 LSTM 基线模型（0.633）。
• 模型在 top-1、top-3 和 top-5 排名上的精确率分别为 0.344、0.552 和 0.640，表明其在多个评估阈值下均表现优异。
• 在多选题诊断任务中，MedGPT 在 4 个测试案例中全部正确识别出最可能的诊断，包括包含干扰项和间接推理的复杂场景。
• 基于梯度的显著性分析显示，'ketoacidosis'（酮症酸中毒）、'ulcer of foot'（足部溃疡）和 'age 49'（49 岁）等临床相关标记在预测糖尿病相关并发症时具有高度显著性。
• 模型对干扰项具有鲁棒性，即使在存在误导性或常见共病的情况下，仍能正确识别出罕见诊断，如先天性囊性肾病和药物诱导性帕金森病。
• 注意力图显示，MedGPT 聚焦于时间上相关且具有临床意义的事件，表明其有效捕捉了医学知识与时间推理能力。