[论文解读] Medical Diagnosis From Laboratory Tests by Combining Generative and Discriminative Learning

Shiyue Zhang, Pengtao Xie+2 more|arXiv (Cornell University)|Nov 12, 2017

Machine Learning in Healthcare参考文献 29被引用 9

一句话总结

该论文提出了一种联合生成-判别深度学习模型 VRNN+NN，将变分循环神经网络（VRNN）用于建模纵向、不完整的实验室检查数据，并结合判别性神经网络进行疾病诊断。该模型在诊断准确率上显著优于基线模型（p < 0.001），学习到更具信息量的表征，并通过端到端联合优化所有任务，实现了更优的缺失值填补效果。

ABSTRACT

A primary goal of computational phenotype research is to conduct medical diagnosis. In hospital, physicians rely on massive clinical data to make diagnosis decisions, among which laboratory tests are one of the most important resources. However, the longitudinal and incomplete nature of laboratory test data casts a significant challenge on its interpretation and usage, which may result in harmful decisions by both human physicians and automatic diagnosis systems. In this work, we take advantage of deep generative models to deal with the complex laboratory tests. Specifically, we propose an end-to-end architecture that involves a deep generative variational recurrent neural networks (VRNN) to learn robust and generalizable features, and a discriminative neural network (NN) model to learn diagnosis decision making, and the two models are trained jointly. Our experiments are conducted on a dataset involving 46,252 patients, and the 50 most frequent tests are used to predict the 50 most common diagnoses. The results show that our model, VRNN+NN, significantly (p&lt;0.001) outperforms other baseline models. Moreover, we demonstrate that the representations learned by the joint training are more informative than those learned by pure generative models. Finally, we find that our model offers a surprisingly good imputation for missing values.

研究动机与目标

• 为解决从电子健康记录中纵向、不完整且多变量的实验室检查数据中进行疾病诊断的挑战。
• 通过联合优化缺失值填补、时间模式发现和疾病预测，以利用其协同关系。
• 通过结合生成建模的优势（用于鲁棒表征学习与填补）和判别学习的优势（用于任务特定决策），提升诊断性能。
• 证明联合训练可获得优于单独训练生成模型或判别模型的特征表征。

提出的方法

• 使用深度变分循环神经网络（VRNN）作为生成组件，用于建模多变量实验室检查序列中的时间依赖性并填补缺失值。
• 采用判别性前馈神经网络（NN）基于 VRNN 学习到的表征预测诊断结果。
• 以端到端方式联合训练 VRNN 和 NN 组件，使反向传播能够同时指导表征学习与缺失值填补。
• 利用变分推理框架学习一个结构化的潜在空间，以捕捉不完整临床数据中的复杂时间模式。
• 在训练过程中通过从潜在变量的后验分布中采样来填补缺失值，从而实现对缺失数据的合理处理。
• 对表征学习与诊断任务采用相同架构，实现填补与分类目标的共享优化。

实验结果

研究问题

• RQ1 与单独训练或基线模型相比，联合训练生成模型（VRNN）与判别模型（NN）是否能提升诊断性能？
• RQ2 生成建模的整合是否能提升临床诊断所用表征的质量？
• RQ3 与启发式或非生成方法相比，所提模型在缺失值填补方面改善程度如何？
• RQ4 该模型在罕见或类别不平衡的诊断任务上表现如何？哪些因素限制了其在特定疾病上的性能？
• RQ5 与独立模型相比，该联合架构是否能更好地捕捉不完整纵向实验室检查数据中的复杂时间模式？

主要发现

• VRNN+NN 模型在诊断准确率上显著优于所有基线模型，p 值 < 0.001，证明其具有统计优越性。
• VRNN 与 NN 的联合训练所获得的表征比单独训练 VRNN 更具信息量，这在下游诊断任务中性能提升中得到验证。
• 与启发式方法相比，该模型在缺失值填补方面表现更优，表 3 中直接显示了更低的填补误差。
• 生成建模的优势在时间序列（VRNN）中最为显著，尤其在缺失数据更严重的情况下，证实了该模型在处理不规则纵向数据方面的优势。
• VAE+NN 变体（非时间序列）改善程度较小，表明时间建模对于捕捉复杂临床模式至关重要。
• 模型在不同诊断任务上的表现存在显著差异，部分疾病（如革兰氏阴性菌血症）的 F1 分数接近零，表明其在检测罕见或复杂疾病方面仍存在局限。