[论文解读] Synthesizing Mixed-type Electronic Health Records using Diffusion Models

Taha Ceritli, Ghadeer O. Ghosheh+4 more|arXiv (Cornell University)|Feb 28, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出 TabDDPM，一种专为生成包含连续型与分类型特征的混合类型电子健康记录（EHR）而设计的扩散模型。通过结合高斯扩散与多项式扩散过程，TabDDPM 在四个 EHR 数据集上均优于当前最先进模型，在数据质量、实用性及数据增强方面表现更优，但其样本真实度较高，导致隐私保护能力下降——凸显了合成 EHR 生成中真实度与隐私保护之间的关键权衡。

ABSTRACT

Electronic Health Records (EHRs) contain sensitive patient information, which presents privacy concerns when sharing such data. Synthetic data generation is a promising solution to mitigate these risks, often relying on deep generative models such as Generative Adversarial Networks (GANs). However, recent studies have shown that diffusion models offer several advantages over GANs, such as generation of more realistic synthetic data and stable training in generating data modalities, including image, text, and sound. In this work, we investigate the potential of diffusion models for generating realistic mixed-type tabular EHRs, comparing TabDDPM model with existing methods on four datasets in terms of data quality, utility, privacy, and augmentation. Our experiments demonstrate that TabDDPM outperforms the state-of-the-art models across all evaluation metrics, except for privacy, which confirms the trade-off between privacy and utility.

研究动机与目标

• 为解决生成保留连续型与分类型特征的逼真合成 EHR 的挑战，同时确保数据实用性。
• 评估扩散模型（特别是 TabDDPM）在 EHR 合成任务中相对于现有生成模型在数据质量、隐私保护、实用性及数据增强方面的性能表现。
• 探究由扩散模型生成的高保真度合成 EHR 所带来的隐私影响，该问题在以往研究中被忽视。
• 证明 TabDDPM 即使在小样本或类别不平衡的 EHR 数据集中，也能实现有效的数据增强。
• 建立基于扩散模型的合成 EHR 生成基准，以支持多样化的医疗机器学习应用场景。

提出的方法

• TabDDPM 采用去噪扩散过程，分别使用高斯扩散和多项式扩散对连续型与分类型特征进行建模。
• 该模型学习逆转一个将表格型 EHR 数据逐步污染为标准高斯噪声的前向过程，从而实现从随机噪声生成数据。
• 对于混合类型数据，该方法为连续型（高斯）和分类型（多项式）特征分别应用不同的噪声调度与去噪头。
• 训练目标是最小化真实数据分布与模型学习分布之间的反向 KL 散度，采用去噪得分匹配方法实现。
• 通过下游任务（如二分类与数据增强）进行评估，使用 F1 分数、AUC 与准确率等指标。
• 隐私保护能力通过基于距离的指标（DRC、MIR）比较真实样本与合成样本进行评估，揭示了真实度与隐私保护之间的权衡。

实验结果

研究问题

• RQ1 扩散模型能否有效生成兼具连续型与分类型特征的逼真混合类型表格型 EHR？
• RQ2 TabDDPM 在数据质量、实用性与隐私保护方面相较于当前最先进 GAN 与 VAE 模型表现如何？
• RQ3 由 TabDDPM 生成的合成数据是否能提升下游机器学习模型在数据增强任务中的性能？
• RQ4 在使用扩散模型生成合成 EHR 时，数据实用性与隐私保护之间存在何种权衡？
• RQ5 TabDDPM 是否能在小样本或类别不平衡的 EHR 数据集中成功生成每类均衡的合成样本？

主要发现

• 在四个 EHR 数据集上，TabDDPM 在数据质量与实用性方面全面优于所有基线模型，其分类性能始终与真实数据相当或更优。
• 在 Pima 与 ILPD 数据集上，TabDDPM 在数据增强任务中实现了最高的性能提升，尤其在类别不平衡的 ILPD 数据集中表现突出。
• 与 VAE、medGAN 和 corGAN 相比，TabDDPM 展现出更优的数据增强能力，后者在处理类别不平衡问题时表现不佳，或需大量采样与下采样操作。
• 尽管实用性极高，TabDDPM 的隐私保护能力低于竞争对手，DRC 与 MIR 指标结果证实了真实度与隐私保护之间的权衡。
• 该模型通过建模目标变量分布，成功实现了每类均衡的合成样本生成，而基线模型则倾向于某一类。
• 本研究首次明确揭示了由扩散模型生成的高保真度合成 EHR 所带来的隐私风险，这一问题在以往文献中被长期忽视。