[论文解读] Forecasting Individualized Disease Trajectories using Interpretable Deep Learning

Ahmed M. Alaa, Mihaela van der Schaar|arXiv (Cornell University)|Oct 24, 2018

Machine Learning in Healthcare参考文献 23被引用 10

一句话总结

本文提出了时序感知状态空间（PASS）模型，一种深度概率框架，结合了循环神经网络的预测精度与状态空间模型的临床可解释性。通过使用注意力机制建模具有记忆性的非马尔可夫状态转移，并利用分段LSTM处理不规则的医疗数据，PASS在实现个性化疾病轨迹预测的同时，使临床医生能够理解既往临床事件对未来结果的影响。

ABSTRACT

Disease progression models are instrumental in predicting individual-level health trajectories and understanding disease dynamics. Existing models are capable of providing either accurate predictions of patients prognoses or clinically interpretable representations of disease pathophysiology, but not both. In this paper, we develop the phased attentive state space (PASS) model of disease progression, a deep probabilistic model that captures complex representations for disease progression while maintaining clinical interpretability. Unlike Markovian state space models which assume memoryless dynamics, PASS uses an attention mechanism to induce "memoryful" state transitions, whereby repeatedly updated attention weights are used to focus on past state realizations that best predict future states. This gives rise to complex, non-stationary state dynamics that remain interpretable through the generated attention weights, which designate the relationships between the realized state variables for individual patients. PASS uses phased LSTM units (with time gates controlled by parametrized oscillations) to generate the attention weights in continuous time, which enables handling irregularly-sampled and potentially missing medical observations. Experiments on data from a realworld cohort of patients show that PASS successfully balances the tradeoff between accuracy and interpretability: it demonstrates superior predictive accuracy and learns insightful individual-level representations of disease progression.

研究动机与目标

• 解决疾病进展建模中长期存在的预测精度与临床可解释性之间的权衡问题。
• 建模反映现实世界临床变异性的个体患者轨迹中复杂、非马尔可夫的状态动态。
• 使临床医生能够通过注意力权重理解既往治疗、共病和生物标志物如何影响未来疾病阶段。
• 开发一种能够处理连续时间中不规则采样且可能缺失的医疗观测的框架。
• 在保持高预测性能的同时，提供透明且具有临床意义的疾病进展表征。

提出的方法

• PASS模型采用具有独立观测分布与转移分布的深度概率状态空间架构。
• 它用注意力机制替代传统马尔可夫状态转移，动态加权过去状态，基于其对未来状态的预测相关性。
• 注意力权重由分段LSTM网络生成，该网络使用由参数化振荡控制的时间门，以建模连续时间动态。
• 模型将未来状态概率计算为过去状态转移的加权和，其中权重反映历史状态的影响。
• 注意力机制使模型能够聚焦于塑造未来轨迹的临床相关既往事件（例如药物使用）。
• 该框架在真实世界电子健康记录（EHR）数据上端到端训练，整合静态特征、治疗、共病和纵向生物标志物。

实验结果

研究问题

• RQ1 深度学习模型能否在个性化疾病轨迹预测中同时实现高预测精度与临床可解释性？
• RQ2 注意力机制如何用于建模疾病进展中的非马尔可夫、有记忆的状态转移？
• RQ3 在深度模型中，注意力权重在多大程度上能提供关于患者特异性疾病轨迹驱动因素的临床有意义见解？
• RQ4 该模型如何处理真实世界EHR数据中不规则采样且可能缺失的临床观测？
• RQ5 所提出的模型在预测精度与可解释性方面是否优于标准RNN和马尔可夫隐马尔可夫模型（HMM）？

主要发现

• PASS在真实世界EHR数据上的慢性疾病进展预测中，相比标准RNN和马尔可夫HMM，均实现了更优的预测精度。
• PASS生成的注意力权重提供了临床可解释的洞察，例如识别早期治疗（如ACE抑制剂）对延缓疾病阶段进展的影响。
• 该模型成功区分了当前疾病阶段相同但过往病史不同的患者，例如治疗暴露差异的患者。
• PASS捕捉到了马尔可夫模型因无记忆假设而无法表征的非平稳、复杂疾病轨迹动态。
• 分段LSTM组件有效建模了连续时间中不规则采样和缺失观测，提高了对现实世界数据噪声的鲁棒性。
• 临床医生可通过可视化注意力权重，理解哪些既往临床事件对患者预测未来疾病阶段影响最大。