[论文解读] BERTSurv: BERT-Based Survival Models for Predicting Outcomes of Trauma Patients

Yun Zhao, Qinghang Hong+4 more|arXiv (Cornell University)|Mar 19, 2021

Machine Learning in Healthcare参考文献 28被引用 11

一句话总结

BERTSurv 是一种新颖的深度学习框架，将基于 BERT 的自然语言处理与临床测量数据相结合，用于预测创伤患者的死亡率和生存结局。通过在非结构化临床记录和结构化数据上利用注意力机制，该框架在死亡率预测中实现了 0.86 的 AUC-ROC，在生存分析中实现了 0.7 的 C-index，优于基线模型，并通过注意力可视化提升了可解释性。

ABSTRACT

Survival analysis is a technique to predict the times of specific outcomes, and is widely used in predicting the outcomes for intensive care unit (ICU) trauma patients. Recently, deep learning models have drawn increasing attention in healthcare. However, there is a lack of deep learning methods that can model the relationship between measurements, clinical notes and mortality outcomes. In this paper we introduce BERTSurv, a deep learning survival framework which applies Bidirectional Encoder Representations from Transformers (BERT) as a language representation model on unstructured clinical notes, for mortality prediction and survival analysis. We also incorporate clinical measurements in BERTSurv. With binary cross-entropy (BCE) loss, BERTSurv can predict mortality as a binary outcome (mortality prediction). With partial log-likelihood (PLL) loss, BERTSurv predicts the probability of mortality as a time-to-event outcome (survival analysis). We apply BERTSurv on Medical Information Mart for Intensive Care III (MIMIC III) trauma patient data. For mortality prediction, BERTSurv obtained an area under the curve of receiver operating characteristic curve (AUC-ROC) of 0.86, which is an improvement of 3.6% over baseline of multilayer perceptron (MLP) without notes. For survival analysis, BERTSurv achieved a concordance index (C-index) of 0.7. In addition, visualizations of BERT's attention heads help to extract patterns in clinical notes and improve model interpretability by showing how the model assigns weights to different inputs.

研究动机与目标

• 开发一种整合非结构化临床记录与结构化测量数据的深度学习框架，用于创伤患者结局预测。
• 解决现有生存模型未能整合文本临床记录的缺陷。
• 利用基于 BERT 的表示学习提升死亡率预测与生存分析的准确性。
• 通过可视化临床记录中的注意力模式，增强模型的可解释性。
• 在真实世界的 MIMIC-III 创伤患者数据上评估该框架。

提出的方法

• BERTSurv 使用微调后的 BERT 将非结构化临床记录编码为上下文嵌入表示。
• 将患者入 ICU 后前 4 小时内的临床测量值取平均，并与 BERT 嵌入表示拼接。
• 使用二元交叉熵（BCE）损失进行死亡率预测（二分类结果）。
• 使用部分对数似然（PLL）损失进行生存分析（事件发生时间结果）。
• 可视化 BERT 中的自注意力机制，以解释模型决策并提取临床相关模式。
• 在包含 21 项临床测量和 4 个人口统计学特征的 MIMIC-III 创伤患者数据上进行模型训练与评估。

实验结果

研究问题

• RQ1 基于 BERT 的模型能否有效整合非结构化临床记录与结构化测量数据，以提升创伤患者的生存预测性能？
• RQ2 通过 BERT 整合临床记录是否能显著提升仅使用结构化数据的模型性能？
• RQ3 BERT 中的注意力可视化是否有助于识别与患者结局相关的临床有意义的文本模式？
• RQ4 与传统的生存模型（如 Cox 回归）相比，BERTSurv 在预测性能方面表现如何？
• RQ5 通过分析临床文本的注意力头，该模型的可解释性在多大程度上得到提升？

主要发现

• BERTSurv 在死亡率预测中实现了 0.86 的 AUC-ROC，相较于不使用临床记录的多层感知机基线模型提升了 3.6%。
• 在生存分析中，BERTSurv 的一致性指数（C-index）达到 0.7，优于使用 C-index 为 0.68 的 Cox 模型。
• 注意力可视化显示，BERT 对死亡早期的患者记录中“severe chest trauma”等临床相关短语赋予较高的注意力权重，而对预后良好的患者则关注“good position”等短语。
• 模型成功识别出早期死亡患者记录中“severe chest”和“trauma”等关键词模式，提示病情危重。
• 相反，较晚出院的患者其临床记录中注意力更多集中在“good”和“good position”等积极术语上。
• 将 BERT 与临床测量数据结合，显著提升了创伤结局建模的预测性能与可解释性。