[论文解读] ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission

Kexin Huang, Jaan Altosaar+1 more|arXiv (Cornell University)|Apr 10, 2019

Machine Learning in Healthcare参考文献 33被引用 612

一句话总结

ClinicalBERT 在临床笔记上进行预训练，以创建临床文本的连续表征，并对其进行微调以进行 30-day hospital readmission prediction，优于基线并通过注意力实现可解释性。模型开源，附训练/评估脚本。

ABSTRACT

Clinical notes contain information about patients that goes beyond structured data like lab values and medications. However, clinical notes have been underused relative to structured data, because notes are high-dimensional and sparse. This work develops and evaluates representations of clinical notes using bidirectional transformers (ClinicalBERT). ClinicalBERT uncovers high-quality relationships between medical concepts as judged by humans. ClinicalBert outperforms baselines on 30-day hospital readmission prediction using both discharge summaries and the first few days of notes in the intensive care unit. Code and model parameters are available.

研究动机与目标

• 证明基于 BERT 的模型在临床数据上训练后，能够有效表示临床笔记。
• 在住院期间的多个时间点评估 ClinicalBERT 在预测 30-day 读回率上的性能。
• 显示 ClinicalBERT 能捕捉临床上有意义的医学概念关系。
• 通过注意力机制提供可解释的预测，并发布开源资源以实现复制。

提出的方法

• 在临床笔记上对 BERT 进行预训练，创建 ClinicalBERT，使用掩码语言建模和下一句预测目标。
• 在 [CLS] 表示上使用线性分类器对 readmission 预测任务微调 ClinicalBERT。
• 通过拼接序列并聚合子序列预测（最大/均值并带缩放因子）来处理长且大量的笔记。
• 使用临床相关的评估指标进行评估：AUROC、AUPRC，以及 RP80（在 80% 精度下的召回率）。
• 与 Bag-of-Words、Word2Vec 的 bi-LSTM、以及对非临床文本进行预训练的标准 BERT 进行比较；分析注意力以实现可解释性。
• 开源 ClinicalBERT 的参数以及训练/评估脚本以便复制。

实验结果

研究问题

• RQ1 基于在临床笔记上进行预训练的 BERT- 基模型，是否能在 30-day 读回率预测上优于标准语言模型？
• RQ2 在不同的住院时间点（早期笔记 vs 出院摘要）临床笔记是否提供预测信号以用于读回预测？
• RQ3 ClinicalBERT 的注意力机制是否可解释且能指示临床相关术语？
• RQ4 对长临床笔记建模对预测性能和可解释性有何影响？

主要发现

模型	AUROC	AUPRC	RP80
ClinicalBERT	0.714 b1 0.018	0.701 b1 0.021	0.242 b1 0.111
Bag-of-words	0.684 b1 0.025	0.674 b1 0.027	0.217 b1 0.119
bi-LSTM	0.694 b1 0.025	0.686 b1 0.029	0.223 b1 0.103
bert	0.692 b1 0.019	0.678 b1 0.016	0.172 b1 0.101

• ClinicalBERT 在 30-day 读回率预测中超过基线，涵盖出院摘要和早期住院笔记。
• 在出院摘要上，ClinicalBERT 达到 AUROC 0.714±0.018，AUPRC 0.701±0.021，RP80 0.242±0.111，优于 Bag-of-Words、bi-LSTM 和标准 BERT 基线。
• ClinicalBERT 的嵌入与医生对临床术语相似性的判断相关性，优于 Word2Vec 和 FastText。
• ClinicalBERT 的注意力权重使通过突出预测再入院的术语（如慢性/急性心脏相关术语）来实现可解释性。
• 模型开源，提供预训练和微调参数，便于复制和将其应用于其他临床任务。