[论文解读] Learning the Joint Representation of Heterogeneous Temporal Events for Clinical Endpoint Prediction

Luchen Liu, Jianhao Shen+3 more|arXiv (Cornell University)|Mar 13, 2018

Machine Learning in Healthcare被引用 14

一句话总结

本文提出 HE-LSTM，一种深度学习模型，通过引入事件门和事件过滤器来建模异构临床事件之间的非线性依赖关系和不规则采样率，从而学习电子健康记录（EHR）中异构时间事件的联合表征。在真实世界 EHR 数据上的评估表明，HE-LSTM 在预测死亡和异常实验室检查结果方面优于基线模型，在早期训练阶段 AUC 最高提升 7.9%，且在不同序列长度下表现出稳健性能。

ABSTRACT

The availability of a large amount of electronic health records (EHR) provides huge opportunities to improve health care service by mining these data. One important application is clinical endpoint prediction, which aims to predict whether a disease, a symptom or an abnormal lab test will happen in the future according to patients' history records. This paper develops deep learning techniques for clinical endpoint prediction, which are effective in many practical applications. However, the problem is very challenging since patients' history records contain multiple heterogeneous temporal events such as lab tests, diagnosis, and drug administrations. The visiting patterns of different types of events vary significantly, and there exist complex nonlinear relationships between different events. In this paper, we propose a novel model for learning the joint representation of heterogeneous temporal events. The model adds a new gate to control the visiting rates of different events which effectively models the irregular patterns of different events and their nonlinear correlations. Experiment results with real-world clinical data on the tasks of predicting death and abnormal lab tests prove the effectiveness of our proposed approach over competitive baselines.

研究动机与目标

• 解决从 EHR 中建模异构临床事件中不规则、多尺度时间模式的挑战。
• 学习能够捕捉不同事件类型（如实验室检查、诊断和药物）之间复杂非线性依赖关系的联合表征。
• 开发一种适用于包含数千种事件类型的大型 EHR 数据的可扩展深度学习模型。
• 提升对死亡和异常实验室检查等临床终点预测结果的准确性。

提出的方法

• 通过引入由事件类型嵌入和时间戳控制的事件门，扩展了相位 LSTM，以处理异步、多尺度的采样率。
• 在事件门内引入事件过滤器机制，以增强对不同事件频率的适应性，并改善表征学习。
• 使用每类事件及其属性的嵌入表示，将异构事件映射到共享潜在空间。
• 采用门控循环单元架构，结合时间门控的内存更新机制，以建模不规则事件序列中的长期时间依赖关系。
• 采用端到端训练方式，以交叉熵和 AUC 作为优化目标，用于临床终点预测。
• 应用多尺度输入序列评估，以衡量在不同历史长度下时间依赖关系建模的性能。

实验结果

研究问题

• RQ1 深度学习模型能否有效捕捉 EHR 中异构临床事件的不规则就诊模式？
• RQ2 不同事件类型（如实验室检查与诊断）之间的非线性相关性如何影响临床终点预测？
• RQ3 与独立建模事件相比，建模异构事件的联合表征在多大程度上能提升预测性能？
• RQ4 所提出的模型对输入序列长度和初始参数设置变化的鲁棒性如何？
• RQ5 事件过滤器与事件门的集成是否能提升临床预测任务中的泛化能力和收敛速度？

主要发现

• 在第一个训练周期内，HE-LSTM 在死亡预测任务中的 AUC 相较于相位门基线模型最高提升 7.9%。
• 事件门和事件过滤器在死亡预测任务中，平均使 AUC 提升 0.5%，AP 提升 2.8%。
• 随着输入序列长度的增加，HE-LSTM 保持了稳定的性能增益，AP 从 0.7551 提升至 0.7687，AUC 从 0.9482 提升至 0.9516（序列长度从 20 增至 1000 个事件）。
• 在不同初始周期设置下，加入事件过滤器的模型相较去除了过滤器的简化 HE-LSTM 模型，平均性能提升 4.1% 至 6.6%。
• 在死亡预测和异常实验室检查预测任务中，HE-LSTM 均优于所有基线模型，显示出在真实世界 EHR 数据上卓越的可扩展性和表征学习能力。
• 性能增益在长序列中最为显著，证实了该模型在建模异构事件流长期时间依赖关系方面的有效性。