[论文解读] Generation of Differentially Private Heterogeneous Electronic Health Records

Kieran Chin-Cheong, Thomas M. Sutter+1 more|arXiv (Cornell University)|Jun 5, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 8

一句话总结

本文提出一种带有梯度惩罚的Wasserstein GAN（WGAN-GP），用于生成高质量、具备差分隐私保护的异质性电子健康记录（EHR），以供下游机器学习任务使用。该方法在医院再入院预测任务中实现了接近基线的性能（AUROC、AUPRC和准确率相差3–5%），即使在强差分隐私（1, 10⁻⁵）条件下也未在性别或年龄子组中引入显著偏差。

ABSTRACT

Electronic Health Records (EHRs) are commonly used by the machine learning community for research on problems specifically related to health care and medicine. EHRs have the advantages that they can be easily distributed and contain many features useful for e.g. classification problems. What makes EHR data sets different from typical machine learning data sets is that they are often very sparse, due to their high dimensionality, and often contain heterogeneous (mixed) data types. Furthermore, the data sets deal with sensitive information, which limits the distribution of any models learned using them, due to privacy concerns. For these reasons, using EHR data in practice presents a real challenge. In this work, we explore using Generative Adversarial Networks to generate synthetic, heterogeneous EHRs with the goal of using these synthetic records in place of existing data sets for downstream classification tasks. We will further explore applying differential privacy (DP) preserving optimization in order to produce DP synthetic EHR data sets, which provide rigorous privacy guarantees, and are therefore shareable and usable in the real world. The performance (measured by AUROC, AUPRC and accuracy) of our model's synthetic, heterogeneous data is very close to the original data set (within 3 - 5% of the baseline) for the non-DP model when tested in a binary classification task. Using strong $(1, 10^{-5})$ DP, our model still produces data useful for machine learning tasks, albeit incurring a roughly 17% performance penalty in our tested classification task. We additionally perform a sub-population analysis and find that our model does not introduce any bias into the synthetic EHR data compared to the baseline in either male/female populations, or the 0-18, 19-50 and 51+ age groups in terms of classification performance for either the non-DP or DP variant.

研究动机与目标

• 为应对因隐私风险导致的敏感EHR数据共享难题，特别是模型训练后存在高重识别风险的问题。
• 生成高保真度、异质性EHR（包含混合数据类型且稀疏度高）以保留其在下游机器学习任务中的实用性。
• 将差分隐私（DP）集成到GAN训练过程中，确保合成EHR数据具备严格的隐私保障。
• 通过分析不同子人群（性别和年龄组）的性能，评估合成数据是否引入偏差。

提出的方法

• 采用带有梯度惩罚的Wasserstein GAN（WGAN-GP）生成合成EHR，该方法在与另外两种GAN变体的实证比较后被选定。
• 在训练过程中应用差分隐私随机梯度下降（DP-SGD），以在生成器上实现（1, 10⁻⁵）-DP，确保隐私保障。
• 对包含数值型（如年龄、体重）和稀疏分类特征（如ICD编码）的异质性EHR数据进行处理，采用针对表格数据的预处理与条件控制方法。
• 在真实EHR和合成EHR数据上分别训练下游二分类器，使用AUROC、AUPRC和准确率作为评估指标，以衡量数据实用性。
• 针对性别（男性/女性）和年龄组（0–18、19–50、51岁以上）进行子人群分析，以评估模型性能的公平性与偏差。
• 采用数据驱动的模型选择流程，比较WGAN-GP、GAN和条件GAN，以选出在EHR生成任务中表现最佳的模型架构。

实验结果

研究问题

• RQ1 基于GAN的模型能否生成足够保留下游二分类任务实用性的合成EHR，使其性能与真实数据相当？
• RQ2 通过DP-SGD应用差分隐私后，对合成EHR在下游分类任务中的性能有何影响？
• RQ3 与原始数据相比，合成数据生成过程是否在性别或年龄子群体中引入或放大了偏差？
• RQ4 差分隐私在多大程度上缓解了训练数据中类别不平衡或异常样本的影响？

主要发现

• 非差分隐私的WGAN-GP模型在AUROC、AUPRC和准确率各项指标上，分类性能与基线（真实数据）相差仅3–5%。
• 在强差分隐私（1, 10⁻⁵）条件下，模型在最差指标（准确率）上性能下降17%，但仍能生成可用于下游任务的可用数据。
• 合成数据中未引入显著偏差：男性与女性子群体之间的性能差异在所有指标上均不超过3%。
• 年龄组表现趋势一致——0–18岁人群在AUROC和准确率上最高，而51岁以上人群在AUPRC上表现最佳，表明这是数据固有的复杂性所致，而非模型偏差。
• DP变体表现出更高的性能噪声，但子人群间的差异仍极小（AUPRC差异≤3%），表明DP可能降低了数据不平衡或异常样本的影响。
• 结果表明，该模型未引入新偏差，且差分隐私甚至可能通过削弱单一样本的影响，缓解现有数据偏差。