[論文レビュー] Synthetic Health-related Longitudinal Data with Mixed-type Variables Generated using Diffusion Models

Nicholas I-Hsien Kuo, Louisa Jorm+1 more|arXiv (Cornell University)|Mar 22, 2023

Machine Learning in Healthcare被引用数 7

ひとこと要約

本稿では、数値、バイナリ、カテゴリカル変数を含む混合型変数を持つ、現実的でプライバシーを保護する縦断的電子歴史記録（EHR）を生成する、新規の拡散確率モデル（DPM）を提案する。急性低血圧およびHIV抗レトロウイルス療法のデータ生成において、GANベースの手法を上回る優れた性能を示した。DPMでシミュレートされたデータは、実世界の統計的特性をよく再現しており、強化学習エージェントが実データで訓練されたものとほぼ同一のポリシーを学習できた。これは、この目的のためにDPMが初めて用いられたことを示している。

ABSTRACT

This paper presents a novel approach to simulating electronic health records (EHRs) using diffusion probabilistic models (DPMs). Specifically, we demonstrate the effectiveness of DPMs in synthesising longitudinal EHRs that capture mixed-type variables, including numeric, binary, and categorical variables. To our knowledge, this represents the first use of DPMs for this purpose. We compared our DPM-simulated datasets to previous state-of-the-art results based on generative adversarial networks (GANs) for two clinical applications: acute hypotension and human immunodeficiency virus (ART for HIV). Given the lack of similar previous studies in DPMs, a core component of our work involves exploring the advantages and caveats of employing DPMs across a wide range of aspects. In addition to assessing the realism of the synthetic datasets, we also trained reinforcement learning (RL) agents on the synthetic data to evaluate their utility for supporting the development of downstream machine learning models. Finally, we estimated that our DPM-simulated datasets are secure and posed a low patient exposure risk for public access.

研究の動機と目的

• 数値、バイナリ、カテゴリカル変数を含む混合型変数を持つ、現実的でプライバシーを保護する縦断的EHRを合成生成できる生成モデルの開発を目的とする。
• GANが安定性やモード崩壊の面で限界を示す時間系列臨床データにおいて、拡散確率モデル（DPM）の性能を評価することを目的とする。
• 強化学習（RL）エージェントの臨床意思決定訓練における、DPMで生成された合成データと最先端のGANベースの合成データの有用性を比較することを目的とする。
• 公開用に適した合成データセットの統計的現実性と患者の情報漏洩リスクを評価することを目的とする。

提案手法

• 混合型変数を扱うための条件付き拡散確率モデル（DPM）を設計し、時間系列EHRデータに段階的にノイズを加える前向きな拡散プロセスを学習する。
• ノイズ除去プロセスを逆方向に学習させ、ノイズから清浄で現実的なEHR時系列を再構築する。この際、時間埋め込みの条件付き処理と離散変数用のカテゴリカル埋め込み層を備えたU-Netアーキテクチャを用いた。
• MIMIC-III（急性低血圧）およびEuResist（HIV ART）の実縦断的EHRデータを用いてモデルを訓練し、混合データタイプに対応するための変数固有の前処理と正規化を実施した。
• ノイズ除去プロセスをガイドするための条件付きスコアベースの学習目的関数を用い、時間経過に伴う多様で現実的な患者トレジャクトリを生成できるようにした。
• 統計的検定（KS検定、t検定、F検定）、相関整合性、強化学習ポリシーの模倣を用いて、合成データの現実性と有用性を評価した。
• 再識別リスクを推定するための再識別指標を用い、公開に適した低い露出リスクを確認した。

実験結果

リサーチクエスチョン

• RQ1 DPMは、数値、バイナリ、カテゴリカルデータを含む混合型変数を持つ縦断的EHRを、時間的依存関係を保持したまま効果的に合成生成できるか？
• RQ2 統計的特性および相関構造の観点から、DPMで生成された合成EHRの現実性は、最先端のGANベースの合成データと比べてどの程度優れているか？
• RQ3 DPMで生成された合成データで訓練された強化学習エージェントは、実臨床データで訓練されたものとどれほど類似したポリシーを学習できるか？
• RQ4 特にモード崩壊とデータ多様性の観点から、GANと比較してDPMを用いる合成EHR生成における主な利点と制限は何か？
• RQ5 合成データセットの患者情報漏洩リスクはどの程度で、公開に安全に使用できるか？

主な発見

• 急性低血圧およびHIV ARTのDPMで生成された合成データは、GANベースの合成データよりも優れた統計的現実性を示し、相関構造や多峰的分布の整合性が良好であった。
• DPMでシミュレートされたデータで訓練された強化学習エージェントは、実データで訓練されたものとほぼ同一のポリシーを学習し、GANで生成されたデータで訓練されたエージェントよりもポリシー類似度と行動提案の正確性で優れていた。
• 極めて長い尾部を持つ数値変数（例：敗血症におけるもの）では、DPMが分布特性を十分に保持できず、KS検定、t検定、F検定の比較で失敗した。これは、極端な値分布を捉える能力に限界があることを示している。
• 合成データセットの患者情報漏洩リスクは低く推定され、PhysioNetおよびFigShareを通じた公開に自信を持って行えることが確認された。
• 急性低血圧（3,910名の患者、187,680件の記録）およびHIV（8,916名の患者、534,960件の記録）のDPMでシミュレートされたデータセットは、公開用に公開され、今後の研究のための高精度なベンチマークとなった。