[論文レビュー] Synthesizing Mixed-type Electronic Health Records using Diffusion Models

Taha Ceritli, Ghadeer O. Ghosheh+4 more|arXiv (Cornell University)|Feb 28, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、連続的およびカテゴリカル特徴を併せ持つ混合型電子歴史記録（EHR）を生成することを目的とした、TabDDPMを提案する。ガウス分布および多項分布の拡散プロセスを組み合わせることで、4つのEHRデータセットにおいて、データ品質、ユーティリティ、データ増強の観点で最先端のモデルを上回る性能を発揮するが、サンプルのリアルさが高いためプライバシー保護が弱くなるという点で、合成EHR生成における重要なトレードオフが浮き彫りになる。

ABSTRACT

Electronic Health Records (EHRs) contain sensitive patient information, which presents privacy concerns when sharing such data. Synthetic data generation is a promising solution to mitigate these risks, often relying on deep generative models such as Generative Adversarial Networks (GANs). However, recent studies have shown that diffusion models offer several advantages over GANs, such as generation of more realistic synthetic data and stable training in generating data modalities, including image, text, and sound. In this work, we investigate the potential of diffusion models for generating realistic mixed-type tabular EHRs, comparing TabDDPM model with existing methods on four datasets in terms of data quality, utility, privacy, and augmentation. Our experiments demonstrate that TabDDPM outperforms the state-of-the-art models across all evaluation metrics, except for privacy, which confirms the trade-off between privacy and utility.

研究の動機と目的

• 連続的およびカテゴリカル特徴を両方保持しつつ、現実的な合成EHRを生成する課題に対処すること。
• EHR合成におけるデータ品質、プライバシー、ユーティリティ、データ増強の観点から、特にTabDDPMを含む拡散モデルの性能を、既存の生成モデルと比較して評価すること。
• 拡散モデルによって生成される高品質な合成EHRに伴うプライバシーの影響を調査すること。これは、先行研究で無視されてきた点である。
• TabDDPMが、小規模または不均衡なEHRデータセットでさえも、効果的なデータ増強を可能にすることを示すこと。
• 多様な医療機械学習応用を支援する、拡散ベースの合成EHR生成のベンチマークを確立すること。

提案手法

• TabDDPMは、連続的特徴にはガウス分布、カテゴリカル特徴には多項分布を用いた、別々のノイズ除去拡散プロセスを採用する。
• モデルは、タブラーEHRデータを段階的に標準ガウスノイズに壊す前向きプロセスを逆に学習することで、ランダムノイズから生成を可能にする。
• 混合型データに対しては、連続的（ガウス）およびカテゴリカル（多項）特徴にそれぞれ最適化された異なるノイズスケジュールとノイズ除去ヘッドを適用する。
• 学習の目的関数は、真のデータ分布とモデルが学習した分布との間の逆Kullback-Leibler発散を最小化するものであり、ノイズ除去スコアマッチングのアプローチを用いる。
• 評価は、バイナリ分類およびデータ増強を含む下流タスクを通じて実施され、F1スコア、AUC、正答率などの指標が用いられる。
• プライバシーは、実データと合成データの間の距離に基づく指標（DRC、MIR）を用いて評価され、リアルさとプライバシーのトレードオフが明らかになる。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、連続的およびカテゴリカル特徴を併せ持つ混合型テーブルEHRを現実的に効果的に生成できるか？
• RQ2 TabDDPMは、最先端のGANベースおよびVAEベースのモデルと比較して、データ品質、ユーティリティ、プライバシーの観点でどの程度優れているか？
• RQ3 TabDDPMによって生成された合成データは、データ増強タスクにおける下流機械学習モデルの性能を向上させるか？
• RQ4 拡散モデルを用いた合成EHR生成において、データユーティリティとプライバシーのトレードオフはどのようなものか？
• RQ5 TabDDPMは、小規模または不均衡なEHRデータセットにおいても、各クラスごとにバランスの取れた合成サンプルを生成できるか？

主な発見

• TabDDPMは、4つのEHRデータセットにおいて、すべてのベースラインモデルを上回るデータ品質とユーティリティを達成し、分類性能は実データと同等またはそれを上回る一貫性を示した。
• PimaおよびILPDデータセットでは、特に不均衡なILPDデータセットにおいて、TabDDPMが最大の性能向上を達成した。
• VAE、medGAN、corGANと比較して、TabDDPMは、クラスの不均衡や大量のサンプリング・ダウンサンプリングを要しない優れたデータ増強能力を示した。
• 高いユーティリティを発揮した一方で、DRCおよびMIR指標による評価で、競合モデルよりもプライバシー保護が低いことが判明し、リアルさとプライバシーのトレードオフを確認した。
• ターゲット変数の分布をモデル化することで、ベースラインモデルが片方のクラスに偏るのとは異なり、TabDDPMは各クラスごとにバランスの取れた合成サンプルを効果的に生成した。
• 本研究は、拡散モデルによって生成される高精細な合成EHRに伴うプライバシーリスクを明示的に指摘した最初の研究であり、先行研究で無視されていたギャップを埋めた。