[论文解读] Clinical XLNet: Modeling Sequential Clinical Notes and Predicting Prolonged Mechanical Ventilation

Kexin Huang, Abhishek Singh+5 more|arXiv (Cornell University)|Dec 27, 2019

Machine Learning in Healthcare参考文献 27被引用 16

一句话总结

本文提出 Clinical XLNet，一种深度学习模型，通过基于排列的语言建模与双向LSTM结合，捕捉临床病历序列中的时间依赖性，用于预测长期机械通气（PMV）和90天死亡率。该模型在PMV预测中取得0.663的AUROC，在死亡率预测中取得0.779的AUROC，性能优于BERT、XLNet和ClinicalBERT，通过有效建模具有时间上下文的非结构化临床文本，达到当前最先进水平。

ABSTRACT

Clinical notes contain rich data, which is unexploited in predictive modeling compared to structured data. In this work, we developed a new text representation Clinical XLNet for clinical notes which also leverages the temporal information of the sequence of the notes. We evaluated our models on prolonged mechanical ventilation prediction problem and our experiments demonstrated that Clinical XLNet outperforms the best baselines consistently.

研究动机与目标

• 为解决尽管临床病历中蕴含丰富临床信息，但其在预后建模中仍被低估利用的问题。
• 克服现有模型忽略临床病历时间顺序、且存在预训练-微调差异的问题。
• 开发一种临床实际的预测框架，仅使用机械通气后48小时内可获得的病历，以模拟真实ICU决策时间线。
• 通过将XLNet的排列语言建模适配至临床领域，改进临床病历表示。
• 证明在临床病历中引入时间动态可显著提升对PMV和死亡率等关键结局的预测性能。

提出的方法

• 在MIMIC-III数据集中去标识化的大量临床病历语料上微调XLNet的基于排列的自回归语言建模，生成领域特定的嵌入表示。
• 保留病历嵌入的时间顺序，并将其输入双向LSTM以建模病历序列间的时间依赖性。
• 在预训练阶段使用掩码语言建模目标，考虑所有词元位置的排列，从而减少BERT中常见的预训练-微调差异。
• 在从LSTM层提取的患者级嵌入基础上训练最终分类头，用于预测PMV与90天死亡率。
• 通过临床医生参与的仔细队列筛选，确保仅使用临床相关且时间受限的病历（即机械通气后48小时内）。
• 采用三个独立的数据划分进行评估，报告AUROC的均值与标准差，以确保结果稳健性。

实验结果

研究问题

• RQ1 在ICU预后背景下，与标准BERT和ClinicalBERT相比，领域自适应的XLNet模型是否能提升临床病历表示？
• RQ2 对临床病历的时间序列进行建模是否能显著提升长期机械通气与死亡率的预测性能？
• RQ3 采用仅使用机械通气后48小时内病历的临床实际预测设置，是否能实现更优且可操作的结果？
• RQ4 与未考虑时间上下文的病历嵌入聚合方法相比，基于排列预训练与双向LSTM序列建模的组合效果如何？
• RQ5 与通用领域预训练或无预训练相比，基于临床病历的预训练在下游任务中能提升多少性能？

主要发现

• Clinical XLNet在长期机械通气预测中达到0.663 ± 0.011的AUROC，优于ClinicalBERT（0.648 ± 0.011）和BERT（0.616 ± 0.022）。
• 在90天死亡率预测中，Clinical XLNet达到0.779 ± 0.006的AUROC，优于ClinicalBERT（0.774 ± 0.006）和XLNet（0.664 ± 0.017）。
• 消融实验表明，通过双向LSTM进行时间建模（Clinical XLNet）显著优于平均病历嵌入（Clinical XLNet-mean），后者在PMV预测中仅达到0.656 ± 0.003的AUROC。
• Clinical XLNet与ClinicalBERT之间的性能差距证明，XLNet的基于排列的预训练在临床文本表示方面更具优势。
• 该模型性能显著优于在临床数据上微调的标准NLP模型（如BERT与XLNet），表明领域特定预训练的必要性。
• 结果验证了在临床病历中引入时间动态可提升ICU环境中预测的准确性与临床可操作性。