[论文解读] A Multifaceted Benchmarking of Synthetic Electronic Health Record Generation Models

Chao Yan, Yan Yao+6 more|arXiv (Cornell University)|Aug 2, 2022

Machine Learning in Healthcare被引用 6

一句话总结

本文提出了一种多维度的基准测试框架，用于在实用性和隐私性指标下评估合成电子健康记录（EHR）生成模型。基于两所学术医疗中心的数据，研究展示了始终存在的实用性-隐私性权衡，并表明没有单一模型在所有应用场景中表现最优，强调了模型选择需根据具体情境而定。

ABSTRACT

Synthetic health data have the potential to mitigate privacy concerns when sharing data to support biomedical research and the development of innovative healthcare applications. Modern approaches for data generation based on machine learning, generative adversarial networks (GAN) methods in particular, continue to evolve and demonstrate remarkable potential. Yet there is a lack of a systematic assessment framework to benchmark methods as they emerge and determine which methods are most appropriate for which use cases. In this work, we introduce a generalizable benchmarking framework to appraise key characteristics of synthetic health data with respect to utility and privacy metrics. We apply the framework to evaluate synthetic data generation methods for electronic health records (EHRs) data from two large academic medical centers with respect to several use cases. The results illustrate that there is a utility-privacy tradeoff for sharing synthetic EHR data. The results further indicate that no method is unequivocally the best on all criteria in each use case, which makes it evident why synthetic data generation methods need to be assessed in context.

研究动机与目标

• 为解决合成EHR生成模型缺乏系统性评估框架的问题。
• 评估多种生成模型在真实EHR数据中多样化应用场景下的表现。
• 量化合成EHR中数据实用性与隐私保护之间的权衡。
• 提供一个可推广的基准测试框架，适用于未来模型的开发与选择。

提出的方法

• 作者设计了一个包含实用性和隐私性指标的多维度基准测试框架。
• 他们在两所学术医疗中心提供的两个大规模真实EHR数据集上，评估了多种基于机器学习的EHR生成模型，包括基于GAN的方法。
• 实用性通过统计相似性、预测模型性能以及数据结构保持能力进行衡量。
• 隐私性通过成员身份推断攻击及其他隐私泄露检测技术进行评估。
• 该框架支持在多种应用场景下的评估，例如临床预测和数据共享。
• 结果被汇总并分析，以识别在不同条件下模型的优势与劣势。

实验结果

研究问题

• RQ1 在关键的实用性和隐私性指标下，不同合成EHR生成模型的相对表现如何？
• RQ2 不同机器学习模型和应用场景下，实用性-隐私性权衡如何变化？
• RQ3 对于使用合成EHR数据的特定临床预测任务，哪种模型表现最佳？
• RQ4 合成EHR在在多大程度上能够保留真实EHR的统计和结构特性？
• RQ5 隐私风险在不同模型之间如何变化，特别是在成员身份推断攻击下？

主要发现

• 所有评估模型中均存在一致的实用性-隐私性权衡，实用性越高通常意味着隐私风险也越高。
• 没有单一模型在所有指标和应用场景中均优于其他模型，表明最优模型选择具有情境依赖性。
• 基于GAN的模型通常实现更高的实用性，但相比其他生成方法，其隐私泄露风险也更高。
• 能够保留纵向患者轨迹和临床编码模式的模型，在下游预测任务中表现更优。
• 隐私度量结果显示，成员身份推断攻击能够成功识别出合成数据中的个体，尤其当模型过于精确时风险更高。
• 该基准测试框架成功识别出各模型的特定优劣势，支持针对特定生物医学应用的明智模型选择。