[论文解读] EVA: Generating Longitudinal Electronic Health Records Using Conditional Variational Autoencoders

Siddharth Biswal, Soumya Ghosh+4 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning in Healthcare参考文献 30被引用 9

一句话总结

EVA 提出了一种条件变分自编码器，通过建模离散的临床就诊序列，在保留时间模式和患者层面变异性的前提下，生成逼真且多样的纵向电子健康记录（EHR）。它结合了随机梯度马尔可夫链蒙特卡洛（SGMCMC）与近似变分推断，实现高效且准确的后验推断，在下游预测建模任务和用户评估中，生成的合成 EHR 表现达到最先进水平。

ABSTRACT

Researchers require timely access to real-world longitudinal electronic health records (EHR) to develop, test, validate, and implement machine learning solutions that improve the quality and efficiency of healthcare. In contrast, health systems value deeply patient privacy and data security. De-identified EHRs do not adequately address the needs of health systems, as de-identified data are susceptible to re-identification and its volume is also limited. Synthetic EHRs offer a potential solution. In this paper, we propose EHR Variational Autoencoder (EVA) for synthesizing sequences of discrete EHR encounters (e.g., clinical visits) and encounter features (e.g., diagnoses, medications, procedures). We illustrate that EVA can produce realistic EHR sequences, account for individual differences among patients, and can be conditioned on specific disease conditions, thus enabling disease-specific studies. We design efficient, accurate inference algorithms by combining stochastic gradient Markov Chain Monte Carlo with amortized variational inference. We assess the utility of the methods on large real-world EHR repositories containing over 250, 000 patients. Our experiments, which include user studies with knowledgeable clinicians, indicate the generated EHR sequences are realistic. We confirmed the performance of predictive models trained on the synthetic data are similar with those trained on real EHRs. Additionally, our findings indicate that augmenting real data with synthetic EHRs results in the best predictive performance - improving the best baseline by as much as 8% in top-20 recall.

研究动机与目标

• 为解决医疗系统对数据隐私的需求与研究人员对真实世界纵向 EHR 数据访问需求之间的关键矛盾。
• 生成保留真实时间模式、患者层面多样性及临床序列复杂性的合成 EHR。
• 实现针对特定疾病状况的 EHR 条件生成，以支持针对性的临床研究。
• 开发一种高效推断算法，在准确性和可扩展性之间取得平衡，适用于大规模 EHR 生成。
• 通过临床医生用户研究和预测建模任务评估合成 EHR，验证其真实性和实用性。

提出的方法

• EVA 采用条件变分自编码器（CVAE）对离散 EHR 就诊序列进行建模，其中每次就诊以临床编码的二值向量表示。
• 该模型基于患者层面的疾病状况进行条件生成，实现特定疾病的合成 EHR 生成。
• 通过将随机梯度马尔可夫链蒙特卡洛（SGMCMC）与近似变分推断相结合，实现对潜在变量的高效后验推断。
• 该架构在 VAE 框架内使用循环或序列建模组件，捕捉 EHR 序列中的时间依赖性。
• 保留潜在不确定性，以确保生成序列的多样性，避免模式崩溃并提升真实性。
• 模型在包含超过 25 万名患者和 1300 万次就诊的大规模真实 EHR 数据库上进行训练，以确保泛化能力和保真度。

实验结果

研究问题

• RQ1 深度生成模型能否生成逼真且多样的合成 EHR 序列，反映真实世界的临床模式？
• RQ2 该模型在多大程度上能够基于特定疾病状况生成 EHR，以支持针对性的研究？
• RQ3 合成 EHR 数据是否具备足够的保真度，以支持训练有效的预测模型？
• RQ4 在召回率和精确率方面，基于合成 EHR 训练的模型性能与基于真实数据训练的模型相比如何？
• RQ5 合成 EHR 能否用于增强真实数据，并在仅使用真实数据无法达到的性能之上进一步提升预测性能？

主要发现

• 在用户研究中，执业临床医生对 EVA 生成的 EHR 序列评价为逼真，证实了其临床合理性。
• 基于合成 EHR 训练的预测模型性能与基于真实 EHR 训练的模型相当，验证了数据保真度。
• 将真实 EHR 数据与合成数据结合，使 top-20 召回率最高提升 8%，优于最佳基线模型。
• 该模型对存在披露攻击表现出鲁棒性，敏感度和精确度低于 80% 的先验概率，表明无再识别风险。
• 与 LSTM 基线相比，EVA 生成的临床事件序列更具多样性，减少了就诊间的重复，提升了真实性。
• 真实与合成 EHR 数据的结合实现了最佳预测性能，优于仅使用任一数据源训练的模型。