[论文解读] BEHRT: Transformer for Electronic Health Records

Yikuan Li, Shishir Rao+6 more|arXiv (Cornell University)|Jul 22, 2019

Machine Learning in Healthcare参考文献 28被引用 16

一句话总结

BEHRT 是一种基于 Transformer 的深度学习模型，用于电子健康记录（EHR），通过利用异构 EHR 概念的时间序列，实现多任务疾病预测和个性化疾病轨迹映射。在 160 万名患者的数据上进行训练，BEHRT 在 301 种疾病上的平均精确度相比最先进模型提高了 8.0%–10.8%。

ABSTRACT

Today, despite decades of developments in medicine and the growing interest in precision healthcare, vast majority of diagnoses happen once patients begin to show noticeable signs of illness. Early indication and detection of diseases, however, can provide patients and carers with the chance of early intervention, better disease management, and efficient allocation of healthcare resources. The latest developments in machine learning (more specifically, deep learning) provides a great opportunity to address this unmet need. In this study, we introduce BEHRT: A deep neural sequence transduction model for EHR (electronic health records), capable of multitask prediction and disease trajectory mapping. When trained and evaluated on the data from nearly 1.6 million individuals, BEHRT shows a striking absolute improvement of 8.0-10.8%, in terms of Average Precision Score, compared to the existing state-of-the-art deep EHR models (in terms of average precision, when predicting for the onset of 301 conditions). In addition to its superior prediction power, BEHRT provides a personalised view of disease trajectories through its attention mechanism; its flexible architecture enables it to incorporate multiple heterogeneous concepts (e.g., diagnosis, medication, measurements, and more) to improve the accuracy of its predictions; and its (pre-)training results in disease and patient representations that can help us get a step closer to interpretable predictions.

研究动机与目标

• 开发一种深度学习模型，能够从 EHR 数据中准确实现未来疾病的多标签预测。
• 利用注意力机制实现个性化疾病轨迹映射，揭示过去与未来疾病之间的上下文关系。
• 创建一种灵活的预训练架构，可整合多种 EHR 模态，如诊断、药物、实验室检查和人口统计学特征。
• 通过学习到的疾病嵌入和注意力可视化，提高预测结果的可解释性。
• 减少对手动特征工程的依赖，直接从原始或极少预处理的 EHR 序列中学习表示。

提出的方法

• BEHRT 采用 Transformer 编码器架构来建模序列化的 EHR 数据，将每个临床事件视为序列中的一个标记。
• 使用四种关键嵌入：疾病（ICD-10 编码）、年龄、就诊阶段（如早期/晚期就诊）以及就诊内的位置，以编码时间和上下文信息。
• 模型在大型 EHR 数据集（CPRD）上进行预训练，采用掩码语言建模方法，学习疾病和患者轨迹的表示。
• 在下游多标签疾病预测任务中应用微调，实现仅需极少任务特定调整的迁移学习。
• 使用注意力机制识别对疾病预测具有影响力的过去事件及其对未来的上下文影响。
• 该架构可通过将新 EHR 模态（如药物、实验室结果）的向量加法方式轻松集成到输入嵌入空间中。

实验结果

研究问题

• RQ1 与现有深度 EHR 模型相比，预训练的 Transformer 模型是否能在多标签未来疾病预测中实现更优性能？
• RQ2 BEHRT 在异构 EHR 数据上，利用注意力机制是否能有效建模复杂且非线性的疾病轨迹？
• RQ3 学习到的疾病嵌入和注意力权重在多大程度上提升了预测结果的可解释性？
• RQ4 BEHRT 是否能在极少架构修改的情况下，泛化到多种临床状况？
• RQ5 整合时间与上下文特征（如年龄、就诊序列）在多大程度上提升了预测性能？

主要发现

• 与最先进模型相比，BEHRT 在预测未来六个月内疾病发作时，301 种疾病中的平均精确度绝对提升了 8.0%–10.8%。
• 该模型的注意力机制提供了对疾病进展的可解释洞察，揭示了过去与未来诊断之间的上下文关系。
• 在大型 EHR 语料库上进行预训练，使 BEHRT 能够学习到有意义的疾病和患者轨迹表示，从而提升下游预测的准确性。
• 该模型的灵活架构可轻松集成额外的 EHR 模态（如药物和实验室检查），且仅需极少的架构修改。
• BEHRT 学习到的疾病嵌入捕捉了共现关系之外的复杂关系，反映了大规模患者群体中的共享轨迹。
• 注意力权重的可视化使研究人员能够探索和分析疾病上下文模式，支持临床研究中的假设生成。