[论文解读] Hi-BEHRT: Hierarchical Transformer-based model for accurate prediction of clinical events using multimodal longitudinal electronic health records

Yikuan Li, Mohammad Mamouei+6 more|arXiv (Cornell University)|Jun 21, 2021

Machine Learning in Healthcare参考文献 33被引用 12

一句话总结

Hi-BEHRT 是一种基于层次化 Transformer 的模型，通过扩展标准 Transformer 的感受野，以捕捉多模态纵向电子健康记录（EHR）中的长期依赖关系。该模型在心力衰竭、糖尿病、慢性肾病和中风的 5 年风险预测任务中达到最先进性能，平均 AUROC 提升 1%–5%，AUPRC 提升 3%–6%，尤其在医疗历史较长的患者中提升更为显著。

ABSTRACT

Electronic health records represent a holistic overview of patients' trajectories. Their increasing availability has fueled new hopes to leverage them and develop accurate risk prediction models for a wide range of diseases. Given the complex interrelationships of medical records and patient outcomes, deep learning models have shown clear merits in achieving this goal. However, a key limitation of these models remains their capacity in processing long sequences. Capturing the whole history of medical encounters is expected to lead to more accurate predictions, but the inclusion of records collected for decades and from multiple resources can inevitably exceed the receptive field of the existing deep learning architectures. This can result in missing crucial, long-term dependencies. To address this gap, we present Hi-BEHRT, a hierarchical Transformer-based model that can significantly expand the receptive field of Transformers and extract associations from much longer sequences. Using a multimodal large-scale linked longitudinal electronic health records, the Hi-BEHRT exceeds the state-of-the-art BEHRT 1% to 5% for area under the receiver operating characteristic (AUROC) curve and 3% to 6% for area under the precision recall (AUPRC) curve on average, and 3% to 6% (AUROC) and 3% to 11% (AUPRC) for patients with long medical history for 5-year heart failure, diabetes, chronic kidney disease, and stroke risk prediction. Additionally, because pretraining for hierarchical Transformer is not well-established, we provide an effective end-to-end contrastive pre-training strategy for Hi-BEHRT using EHR, improving its transferability on predicting clinical events with relatively small training dataset.

研究动机与目标

• 解决标准深度学习模型在处理纵向 EHR 数据长序列方面的局限性。
• 克服标准 Transformer 受限的感受野，以更好地捕捉长期医疗依赖关系。
• 利用长达数十年的患者病史，实现对心力衰竭、糖尿病、慢性肾病和中风等临床事件的准确预测。
• 为分层 Transformer 开发一种有效的端到端对比预训练策略，以提升在小规模下游数据集上的迁移能力。
• 提升医疗历史较长患者群体的模型性能，因为长期模式在此类患者中对预测最为关键。

提出的方法

• 提出一种分层注意力机制，以多粒度处理 EHR 序列，实现更长的有效上下文窗口。
• 采用两级 Transformer 架构：局部编码器处理单个就诊记录，全局编码器聚合就诊级别的表征。
• 引入一种新颖的端到端对比预训练目标，利用 EHR 数据在微调前学习有意义的表征。
• 整合包括诊断、药物、检验检查和操作在内的多模态 EHR 数据，将其统一映射到一个嵌入空间。
• 使用带相对位置编码的掩码自注意力机制，以保留长序列中的时间顺序和关系。
• 使用类别平衡采样策略，通过二元交叉熵损失对预训练模型在下游临床事件预测任务上进行微调。

实验结果

研究问题

• RQ1 分层 Transformer 架构能否有效扩展标准 Transformer 的感受野，以建模长达数十年的 EHR 序列？
• RQ2 在多种疾病条件下，Hi-BEHRT 在预测 5 年内临床事件方面相较于 BEHRT 等最先进模型表现如何？
• RQ3 所提出的对比预训练策略在有限标注 EHR 数据上在多大程度上提升了模型泛化能力？
• RQ4 与医疗历史较短的患者相比，Hi-BEHRT 在医疗历史较长的患者中是否表现出显著的性能提升？
• RQ5 该模型能否捕捉到标准模型所遗漏的临床相关长期依赖关系？

主要发现

• 在心力衰竭、糖尿病、慢性肾病和中风的 5 年风险预测任务中，Hi-BEHRT 平均相比先前最先进模型 BEHRT 提升 AUROC 1%–5%，AUPRC 提升 3%–6%。
• 对于医疗历史较长的患者，Hi-BEHRT 在 AUROC 上提升 3%–6%，AUPRC 最高提升达 11%，表明其在捕捉长期依赖关系方面表现更优。
• 端到端对比预训练策略显著提升了模型的迁移能力，即使在相对较小的下游训练数据集上也能实现优异性能。
• 分层设计成功捕捉了多医学模态间的复杂时间模式，在建模长序列方面优于非分层基线模型。
• 该模型在多种临床条件下均保持稳健性能，表明其在多种慢性病预测任务中具备良好的泛化能力。
• 消融实验证实，分层架构和对比预训练均对性能提升至关重要，两者均对最终结果有显著贡献。