[论文解读] Exploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding

Zhengping Che, Yu Cheng+2 more|arXiv (Cornell University)|Jan 25, 2017

Machine Learning in Healthcare参考文献 10被引用 39

一句话总结

本文提出了一种结合学习到的医学特征嵌入的卷积神经网络（CNN）模型，以提升从电子健康记录（EHRs）中进行风险预测的性能。通过采用类似 word2vec 的方法将医学事件转换为密集向量表示，并在时间序列上应用一维卷积，该模型能够捕捉局部及多尺度的时间依赖性，在糖尿病和心力衰竭预测任务中达到最先进性能，尤其在早期诊断场景中表现突出。

ABSTRACT

The widespread availability of electronic health records (EHRs) promises to usher in the era of personalized medicine. However, the problem of extracting useful clinical representations from longitudinal EHR data remains challenging. In this paper, we explore deep neural network models with learned medical feature embedding to deal with the problems of high dimensionality and temporality. Specifically, we use a multi-layer convolutional neural network (CNN) to parameterize the model and is thus able to capture complex non-linear longitudinal evolution of EHRs. Our model can effectively capture local/short temporal dependency in EHRs, which is beneficial for risk prediction. To account for high dimensionality, we use the embedding medical features in the CNN model which hold the natural medical concepts. Our initial experiments produce promising results and demonstrate the effectiveness of both the medical feature embedding and the proposed convolutional neural network in risk prediction on cohorts of congestive heart failure and diabetes patients compared with several strong baselines.

研究动机与目标

• 解决从异质性、不规则且嘈杂的纵向EHR数据中提取有意义临床表示的挑战。
• 通过学习低维、上下文感知的医学特征嵌入，克服EHR中高维性和时间不规则性问题。
• 利用深度学习提升糖尿病等慢性疾病的风险预测性能。
• 通过建模EHR序列中的时间依赖性，在最小观察窗口下实现早期风险预测。
• 证明学习到的嵌入在基线模型和深度学习模型中均优于原始或随机嵌入。

提出的方法

• 在EHR序列上使用word2vec的连续袋-词模型（CBOW）变体学习医学特征嵌入，将每个医学事件视为一个'词'。
• 将每位患者EHR表示为大小为 $ T_p \times D $ 的时间嵌入矩阵，其中 $ T_p $ 为事件数量，$ D $ 为嵌入维度。
• 沿时间维度应用不同大小（如2、3）的一维卷积滤波器，以捕捉局部及多尺度的时间依赖性。
• 在时间维度上使用最大池化操作，生成固定长度的向量表示，从而实现对不同记录长度患者的泛化。
• 将学习到的嵌入与全连接的Softmax层结合，实现疾病风险的端到端二分类。
• 在CNN训练过程中评估固定嵌入与联合微调嵌入，以评估其对下游任务的适应能力。

实验结果

研究问题

• RQ1 与原始或随机嵌入相比，学习到的医学特征嵌入是否能提升EHR数据中的风险预测性能？
• RQ2 一维CNN模型在纵向EHR数据中捕捉局部及多尺度时间依赖性的能力有多强，适用于临床风险预测？
• RQ3 在仅有限历史数据可用的情况下，所提出的框架在早期风险预测中的有效性如何？
• RQ4 医学上下文感知嵌入的集成是否能提升多种机器学习基线模型（如逻辑回归、SVM、随机森林）的性能？
• RQ5 不同聚合策略（平均、求和、最大池化）对学习到的嵌入如何影响下游预测准确率？

主要发现

• 所提出的结合学习医学特征嵌入的CNN模型在心力衰竭预测任务中达到0.9289的AUROC，显著优于所有基线模型。
• 在糖尿病预测中，该模型采用W2v-Sum嵌入策略达到0.9802的AUROC，超越最佳基线模型（AUROC 0.9681）所使用的原始词袋特征。
• 在早期预测设置中，模型保持了强劲性能：在180天的观察期后，糖尿病预测准确率达到92.77%，AUROC为0.9716。
• 学习到的嵌入在多个基线模型中均持续提升性能，尤其对逻辑回归和SVM提升显著，但对随机森林影响较小，因其具有离散特征选择机制。
• 学习嵌入与多尺度卷积滤波器的结合显著增强了时间建模能力，其中W2v-Sum策略在心力衰竭预测中取得最高的F1分数0.8056。
• 即使仅使用90天的发病前数据，该模型在心力衰竭预测中仍达到83.29%的准确率和0.8889的AUROC，展现出在早期阶段预测中的鲁棒性。