[论文解读] Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification

Edward De Brouwer, Jaak Simm+2 more|arXiv (Cornell University)|Nov 26, 2018

Machine Learning in Healthcare参考文献 13被引用 5

一句话总结

本文提出了一种深度集成张量分解模型，通过循环神经网络联合学习纵向患者轨迹的生成表示并分类院内死亡率。通过将稀疏、不规则采样的临床数据建模为张量，并利用一组生成模型近似贝叶斯不确定性，该方法实现了0.855的AUC，优于SAPS-II和基于GRU的基线模型。

ABSTRACT

We present a generative approach to classify scarcely observed longitudinal patient trajectories. The available time series are represented as tensors and factorized using generative deep recurrent neural networks. The learned factors represent the patient data in a compact way and can then be used in a downstream classification task. For more robustness and accuracy in the predictions, we used an ensemble of those deep generative models to mimic Bayesian posterior sampling. We illustrate the performance of our architecture on an intensive-care case study of in-hospital mortality prediction with 96 longitudinal measurement types measured across the first 48-hour from admission. Our combination of generative and ensemble strategies achieves an AUC of over 0.85, and outperforms the SAPS-II mortality score and GRU baselines.

研究动机与目标

• 为解决从稀疏且不规则采样的纵向临床轨迹中对患者进行分类的挑战。
• 在自然处理缺失观测的情况下，对纵向患者数据中的复杂时间依赖关系进行建模。
• 通过集成学习近似贝叶斯后验抽样，提升预测的鲁棒性和准确性。
• 将静态患者协变量和多变量时间序列测量值整合到统一的张量表示中。
• 在院内死亡率预测任务中，超越现有的临床严重程度评分（如SAPS-II）和仅分类的深度学习基线模型。

提出的方法

• 将纵向患者数据表示为N×M×T维的三维张量，其中N为患者数，M为测量类型数，T为时间区间数。
• 使用基于GRU的深度生成RNN对每位患者的潜在健康状态随时间的变化进行建模，并通过特定于测量的函数生成观测值。
• 通过结合重建误差（MSE）和分类交叉熵的混合损失函数进行端到端训练，损失权重由超参数γ调节。
• 采用集成策略：从先验分布中采样超参数，训练200个模型，并基于验证性能选择表现最好的前20个。
• 通过平均表现最佳的模型的预测结果，近似贝叶斯后预测分布，从而提升鲁棒性。
• 将静态协变量（如年龄、诊断）用于初始化潜在状态，实现患者特异性建模。

实验结果

研究问题

• RQ1 深度生成模型能否在低维潜在空间中有效表示稀疏且不规则采样的纵向患者轨迹？
• RQ2 联合训练轨迹重建与分类任务是否能提升相比仅分类模型的性能？
• RQ3 生成模型的集成学习能否近似贝叶斯后验抽样，并在临床轨迹分类中增强预测鲁棒性？
• RQ4 所提方法与SAPS-II等既定临床严重程度评分相比，在预测院内死亡率方面表现如何？
• RQ5 在该生成建模设置下，集成规模对性能有何影响？

主要发现

• 所提方法在院内死亡率预测任务上实现了0.855的AUC，显著优于SAPS-II评分和GRU插补基线模型。
• 通过集成策略，AUC从0.842提升至0.855，证明了不确定性感知模型平均的价值。
• 仅需20个模型的小型集成即可实现显著的性能提升，表明鲁棒预测的高效学习。
• 生成建模方法在无需显式插补的情况下，有效处理缺失数据和不规则采样。
• 该模型学习到的患者特异性潜在轨迹对下游分类任务具有信息量，即使张量填充率仅为5.9%。
• 将静态协变量与时间动态结合，提升了模型的泛化能力和预测准确性。