[論文レビュー] Generation of Differentially Private Heterogeneous Electronic Health Records

Kieran Chin-Cheong, Thomas M. Sutter+1 more|arXiv (Cornell University)|Jun 5, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 8

ひとこと要約

本稿では、下流の機械学習タスクで使用可能な高品質で差分プライバシーを満たす異種電子歴史データ（EHR）を生成するため、勾配ペナルティを用いたワッサーシュタインGAN（WGAN-GP）を提案する。この手法は、強力な差分プライバシー（1, 10⁻⁵）のもとでも、病院再入院予測タスクにおいてベースライン性能に近く（AUROC、AUPRC、正答率で3–5%以内）、性別や年齢サブグループに顕著なバイアスを生じさせない。

ABSTRACT

Electronic Health Records (EHRs) are commonly used by the machine learning community for research on problems specifically related to health care and medicine. EHRs have the advantages that they can be easily distributed and contain many features useful for e.g. classification problems. What makes EHR data sets different from typical machine learning data sets is that they are often very sparse, due to their high dimensionality, and often contain heterogeneous (mixed) data types. Furthermore, the data sets deal with sensitive information, which limits the distribution of any models learned using them, due to privacy concerns. For these reasons, using EHR data in practice presents a real challenge. In this work, we explore using Generative Adversarial Networks to generate synthetic, heterogeneous EHRs with the goal of using these synthetic records in place of existing data sets for downstream classification tasks. We will further explore applying differential privacy (DP) preserving optimization in order to produce DP synthetic EHR data sets, which provide rigorous privacy guarantees, and are therefore shareable and usable in the real world. The performance (measured by AUROC, AUPRC and accuracy) of our model's synthetic, heterogeneous data is very close to the original data set (within 3 - 5% of the baseline) for the non-DP model when tested in a binary classification task. Using strong $(1, 10^{-5})$ DP, our model still produces data useful for machine learning tasks, albeit incurring a roughly 17% performance penalty in our tested classification task. We additionally perform a sub-population analysis and find that our model does not introduce any bias into the synthetic EHR data compared to the baseline in either male/female populations, or the 0-18, 19-50 and 51+ age groups in terms of classification performance for either the non-DP or DP variant.

研究の動機と目的

• プライバシーリスク、特に訓練済みモデルからの再識別リスクが著しい電子歴史データ（EHR）の共有の課題に対処するため。
• 混合データ型と高スパarsityを有する高精細で異種のEHR（混合データ型、高スパarsity）を生成し、下流の機械学習タスクに有用性を保つため。
• 生成されたEHRデータに対するきめ細やかなプライバシー保証を確保するため、GANの学習プロセスに差分プライバシー（DP）を統合するため。
• 合成データが性別や年齢グループなどのサブグループ間でバイアスを生じるかどうかを、パフォーマンス分析により評価するため。

提案手法

• 実証的評価を通じて2つの他のGANバリアントと比較した結果、合成EHRの生成にワッサーシュタインGANに勾配ペナルティを適用したWGAN-GPを採用する。
• 生成器に（1, 10⁻⁵）-DPを満たすために、訓練中に差分プライバシーを適用した確率的勾配降下法（DP-SGD）を適用する。
• 年齢や体重などの数値特徴（例：年齢、体重）と、ICDコードなどのスパースなカテゴリカル特徴を含む異種EHRデータを、表形式データに特化した前処理と条件付けを用いて処理する。
• 実EHRと合成EHRの両方を用いて下流のバイナリ分類器を訓練し、AUROC、AUPRC、正答率を指標として用いて有用性を評価する。
• 性別（男性／女性）および年齢層（0–18歳、19–50歳、51歳以上）のサブグループにわたる分析を実施し、モデルパフォーマンスの公平性とバイアスを評価する。
• WGAN-GP、GAN、条件付きGANを比較するデータ駆動型モデル選択プロセスを採用し、EHR生成に最も適したアーキテクチャを選定する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、実データと同等の性能を示す十分な有用性を持つ合成EHRを生成可能か？
• RQ2 DP-SGDを用いた差分プライバシーの適用が、下流分類タスクにおける合成EHRのパフォーマンスにどのように影響するか？
• RQ3 合成データ生成プロセスは、元のデータと比較して性別や年齢サブグループ間でバイアスを導入または強化するか？
• RQ4 差分プライバシーは、トレーニングデータにおけるアンバランスなサンプルや外れ値の影響をどの程度軽減するか？

主な発見

• 差分プライバシーを適用しないWGAN-GPモデルは、AUROC、AUPRC、正答率の各指標で、ベースライン（実データ）の3–5%以内のパフォーマンスを達成する。
• 強い（1, 10⁻⁵）-差分プライバシーのもとでは、最悪の指標（正答率）で17%のパフォーマンス低下を示すが、依然として下流タスクに使用可能なデータを生成する。
• 合成データに顕著なバイアスは生じない：男性と女性のサブグループ間でのパフォーマンス差は、すべての指標で3%以内にとどまる。
• 年齢層ごとのパフォーマンスは一貫した傾向を示す—0–18歳のグループが最高のAUROCと正答率を示し、51歳以上は最高のAUPRCを示す—これはモデルバイアスではなく、データそのものの複雑さに起因する。
• DPを適用したバージョンではパフォーマンスのノイズが増加するが、サブグループ間の差は最小限（AUPRCで≤3%）にとどまるため、DPはデータのアンバランス性や外れ値の影響を軽減する可能性がある。
• 結果から、モデルは新たなバイアスを導入せず、差分プライバシーは個々のサンプルの影響を弱めるため、既存のデータバイアスを緩和する可能性があると示唆される。