[論文レビュー] EHRDiff: Exploring Realistic EHR Synthesis with Diffusion Models

Hongyi Yuan, Songchi Zhou+1 more|arXiv (Cornell University)|Mar 10, 2023

Mathematics, Computing, and Information Processing被引用数 7

ひとこと要約

この論文は現実的な電子カルテ(EHR)を合成する拡散モデルベースの手法 EHRDiff を提案し、MIMIC-III データ上で GAN ベースのベースラインと性能を比較して、データの有用性とプライバシー保護の向上を強調します。

ABSTRACT

Electronic health records (EHR) contain a wealth of biomedical information, serving as valuable resources for the development of precision medicine systems. However, privacy concerns have resulted in limited access to high-quality and large-scale EHR data for researchers, impeding progress in methodological development. Recent research has delved into synthesizing realistic EHR data through generative modeling techniques, where a majority of proposed methods relied on generative adversarial networks (GAN) and their variants for EHR synthesis. Despite GAN-based methods attaining state-of-the-art performance in generating EHR data, these approaches are difficult to train and prone to mode collapse. Recently introduced in generative modeling, diffusion models have established cutting-edge performance in image generation, but their efficacy in EHR data synthesis remains largely unexplored. In this study, we investigate the potential of diffusion models for EHR data synthesis and introduce a novel method, EHRDiff. Through extensive experiments, EHRDiff establishes new state-of-the-art quality for synthetic EHR data, protecting private information in the meanwhile.

研究の動機と目的

• 現実的な EHR 合成を動機づけ、実データの共有時のプライバシー障壁を克服する。
• データ品質を向上させ、モード崩壊を低減する拡散ベースの EHR 合成（EHRDiff）を提案する。
• 公的な EHR データ（MIMIC-III）上で EHRDiff と GAN 系ベースのベースラインを実証的に比較する。
• 分布特性・予測・潜在構造の指標で合成データの有用性を評価する。
• プライバシー保護を確保するため、合成 EHR に関連するプライバシーリスク（属性推定・会員推論）を評価する。

提案手法

• EHR データを 1,782 の ICD コード特徴の2値ベクトルとしてモデル化し、x0 ∈ {0,1}^|C| で拡散モデリングを適用する。
• 前向き SDE を用いてデータを汚染させ、スコア関数を denoising D_theta によって学習する。
• ノイズスケールに対して安定した学習を可能にする適応スキーム D_theta(x;σ)=c_skip(σ)x + c_out(σ)F_theta(c_in(σ)x; c_noise(σ)) で去噪関数をパラメータ化する。
• ノイズからの決定的生成を実現するため、確率流 ODE dx = -t ∇_x log p_{σ_t}(x) dt を解き、高階のヘイン法 2 次法によるサンプリングを用いる。
• F_theta を、予測された去噪出力をクリーンな x0 と整合させる損失（式13）で訓練する。
• 合成データの有用性を、分布的・予測・潜在構造の指標と、属性推定・会員推論テストによるプライバシー評価で評価する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは GAN ベース手法より高品質で分布忠実性の高い合成 EHR を生成できるか。
• RQ2 拡散ベースの合成 EHR はプライバシーをより良く保護しつつ有用性を維持できるか。
• RQ3 EHRDiff は公開データ（MIMIC-III）での無条件合成設定でどのように機能するか。

主な発見

Model	APD	NZC	CMD	LD	MCAD
medGAN	1.967	560	29.302	-4.307	0.250
medBGAN	1.406	848	54.833	-4.309	0.112
medWGAN	2.225	420	8.395	-14.761	0.071
CorGAN	2.164	799	11.439	-7.667	0.145
EMR-WGAN	0.511	1039	6.938	-13.881	0.078
EHRDiff	1.256	1677	8.005	-14.487	0.066

• EHRDiff は複数の有用性指標で実データに対する分布忠実性が GAN ベースより優れている。
• EHRDiff は次元ごとの有病率・相関構造の実データへの一致度が高く、サンプルレベルの分布（MCAD）もベースラインより良い。
• 多くの有用性指標で EHRDiff は GAN ベースの手法を上回り、best ベースライン（例: medWGAN）に近い、あるいは競合する。
• プライバシー評価は、強力なベースラインと比較して属性推定・会員推論リスクが競争力を保ちつつ、データ品質を高く保つことを示した。
• 総じて、拡散モデルによる現実的 EHR 合成の新たな最先端を樹立し、プライバシー保護特性を実証した。