[论文解读] ConCare: Personalized Clinical Feature Embedding via Capturing the Healthcare Context

Liantao Ma, Chaohe Zhang+7 more|arXiv (Cornell University)|Nov 27, 2019

Machine Learning in Healthcare参考文献 14被引用 6

一句话总结

ConCare 提出了一种多通道、时间感知的深度学习框架，通过联合建模动态和静态健康特征，利用自注意力机制中的交叉头去相关性，捕捉时间序列与基线数据之间的相互依赖关系，从而学习个性化的临床特征嵌入。该方法在两个真实世界电子病历（EMR）数据集上实现了最先进性能，研究结果经医学专家和文献验证。

ABSTRACT

Predicting the patient's clinical outcome from the historical electronic medical records (EMR) is a fundamental research problem in medical informatics. Most deep learning-based solutions for EMR analysis concentrate on learning the clinical visit embedding and exploring the relations between visits. Although those works have shown superior performances in healthcare prediction, they fail to explore the personal characteristics during the clinical visits thoroughly. Moreover, existing works usually assume that the more recent record weights more in the prediction, but this assumption is not suitable for all conditions. In this paper, we propose ConCare to handle the irregular EMR data and extract feature interrelationship to perform individualized healthcare prediction. Our solution can embed the feature sequences separately by modeling the time-aware distribution. ConCare further improves the multi-head self-attention via the cross-head decorrelation, so that the inter-dependencies among dynamic features and static baseline information can be effectively captured to form the personal health context. Experimental results on two real-world EMR datasets demonstrate the effectiveness of ConCare. The medical findings extracted by ConCare are also empirically confirmed by human experts and medical literature.

研究动机与目标

• 为解决现有电子病历（EMR）模型未能充分整合个人健康背景（包括动态临床特征和静态基线信息）的局限性。
• 对每项临床特征单独建模时间衰减效应，而非假设统一的近期优先偏置。
• 捕捉动态特征与静态基线信息之间的相互依赖关系，以构建全局、个性化患者健康背景。
• 通过引入具有交叉头去相关性的上下文感知多头注意力机制，重新编码特征，从而提升预测性能。
• 提供可解释的、具有临床意义的洞察，如特征衰减率和跨特征注意力模式，并经医学专家验证。

提出的方法

• ConCare 使用多通道GRU编码器，分别对每项临床特征的时间序列进行嵌入，通过可学习参数实现个性化的、时间感知的衰减建模。
• 采用时间感知的自注意力机制，对每项特征的时序衰减效应进行建模，允许基于特征特定衰减率灵活关注历史值。
• 模型引入交叉头去相关损失，以促进注意力头之间的多样性，提升表征学习能力并捕捉复杂相互依赖关系。
• 在全局上下文中显式建模动态特征（如实验室检查值）与静态基线特征（如年龄、诊断）之间的关系，以形成个性化健康表征。
• 通过融合所有特征的上下文感知嵌入，生成最终的健康表征，支持高精度的下游预测任务。

实验结果

研究问题

• RQ1 如何对临床特征嵌入进行个性化设计，以反映包含动态和静态健康信息的个体患者背景？
• RQ2 如何最优地建模不同临床特征的时间衰减效应，而非假设统一的近期优先偏置？
• RQ3 如何有效捕捉动态临床特征与静态基线信息之间的相互依赖关系，以提升健康预测性能？
• RQ4 自注意力机制中的交叉头去相关性在临床序列建模中在多大程度上改善了表征学习？
• RQ5 该模型的注意力模式和学习到的衰减率是否具有临床可解释性，并能经医学专家验证？

主要发现

• ConCare 在两个真实世界电子病历（EMR）数据集上优于最先进基线模型，展现出在医疗预测任务中的卓越性能。
• 模型学习到了特征特定的衰减率，表明像血清肌酐和白细胞计数等快速变化的指标对短期变化更为敏感。
• 长期特征如白蛋白、钠和血压表现出更慢的衰减率，与临床对这些指标在慢性疾病中作用的理解一致。
• 跨特征注意力分析揭示了糖尿病患者中葡萄糖、高敏C反应蛋白（hs-CRP）、白蛋白与糖尿病诊断之间存在显著相互依赖关系，与医学文献相符。
• 交叉头去相关损失显著提升了模型性能，证实其在增强注意力多样性与表征质量方面的重要作用。
• 医学专家确认，模型的注意力模式和衰减率解释具有临床合理性，并与现有医学知识一致。