[論文レビュー] A Multifaceted Benchmarking of Synthetic Electronic Health Record Generation Models

Chao Yan, Yan Yao+6 more|arXiv (Cornell University)|Aug 2, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本稿では、合成電子歴史記録（EHR）生成モデルのユーティリティおよびプライバシー指標の両面から評価する多面的なベンチマークフレームワークを導入する。2つの大学医学センターのデータを用いて、一貫したユーティリティ-プライバシーのトレードオフが存在することを示し、すべての用途において優れたモデルが存在しないことを明らかにした。これは、文脈依存的なモデル選択の重要性を強調する。

ABSTRACT

Synthetic health data have the potential to mitigate privacy concerns when sharing data to support biomedical research and the development of innovative healthcare applications. Modern approaches for data generation based on machine learning, generative adversarial networks (GAN) methods in particular, continue to evolve and demonstrate remarkable potential. Yet there is a lack of a systematic assessment framework to benchmark methods as they emerge and determine which methods are most appropriate for which use cases. In this work, we introduce a generalizable benchmarking framework to appraise key characteristics of synthetic health data with respect to utility and privacy metrics. We apply the framework to evaluate synthetic data generation methods for electronic health records (EHRs) data from two large academic medical centers with respect to several use cases. The results illustrate that there is a utility-privacy tradeoff for sharing synthetic EHR data. The results further indicate that no method is unequivocally the best on all criteria in each use case, which makes it evident why synthetic data generation methods need to be assessed in context.

研究の動機と目的

• 合成EHR生成モデルのための体系的な評価フレームワークの欠如に対処すること。
• 実世界のEHRデータにおける多様な用途において、複数の生成モデルのパフォーマンスを評価すること。
• 合成EHRにおけるデータユーティリティとプライバシー保護の間のトレードオフを定量化すること。
• 将来のモデル開発および選定に適用可能な汎用的なベンチマークフレームワークを提供すること。

提案手法

• 著者らは、ユーティリティおよびプライバシー指標を統合した多面的なベンチマークフレームワークを設計した。
• 彼らは、大学医学センターの2つの大規模な実際のEHRデータセットを用いて、Ganベースの手法を含む複数の機械学習ベースのEHR生成モデルを評価した。
• ユーティリティは、統計的類似性、予測モデルのパフォーマンス、データ構造の保持性によって測定された。
• プライバシーは、メンバーインファレンス攻撃およびその他のプライバシー漏洩検出技術を用いて評価された。
• フレームワークは、臨床予測やデータ共有などの複数の用途における評価を可能にした。
• 結果は集約され、さまざまな条件下でのモデルの強みと弱みを特定するために分析された。

実験結果

リサーチクエスチョン

• RQ1 異なる合成EHR生成モデルの、主なユーティリティおよびプライバシー指標における相対的パフォーマンスはいかほどか？
• RQ2 異なる機械学習モデルおよび用途において、ユーティリティ-プライバシーのトレードオフはどのように変化するか？
• RQ3 特定の臨床予測タスクにおいて、合成EHRデータを用いた際、どのモデルが最も優れたパフォーマンスを示すか？
• RQ4 合成EHRは、実際のEHRの統計的および構造的特性をどの程度保持できるか？
• RQ5 特にメンバーインファレンス攻撃の下で、プライバシーリスクはモデルごとにどのように変動するか？

主な発見

• すべての評価対象モデルにおいて、一貫したユーティリティ-プライバシーのトレードオフが存在し、ユーティリティが高くなるほどプライバシーリスクも高くなる傾向にある。
• すべての指標および用途において、他のすべてのモデルを上回るモデルは存在せず、文脈依存的な最適なモデル選択が重要であることが示された。
• Ganベースのモデルは、他の生成アプローチと比較して、一般的に高いユーティリティを達成するが、プライバシー漏洩のリスクも高くなる傾向にある。
• 縦断的患者トラジェクトリーや臨床コーディングパターンを保持するモデルは、下流の予測タスクでより優れたパフォーマンスを示した。
• プライバシー指標の分析から、メンバーインファレンス攻撃が、モデルの精度が高すぎる場合に特に、合成データ内の個人を再特定可能であることが判明した。
• ベンチマークフレームワークは、モデル固有の強みと弱みを的確に特定でき、特定のバイオメディカル応用に適したモデル選択を支援した。