[논문 리뷰] Synthetic Health-related Longitudinal Data with Mixed-type Variables Generated using Diffusion Models

Nicholas I-Hsien Kuo, Louisa Jorm외 1명|arXiv (Cornell University)|2023. 03. 22.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 수치형, 이진형, 범주형 변수를 포함한 혼합형 변수를 갖는 현실적이고 프라이버시를 보장하는 종단적 전자 건강 기록(EHR)을 생성하기 위한 새로운 확산 확률 모델(DPM)을 제안한다. 급성 저혈압과 HIV 항 retro바이러스 치료에 대해 GAN 기반 방법에 비해 뛰어난 성능을 보이며, DPM에 의해 시뮬레이션된 데이터는 실제 통계적 성질을 거의 정확히 반영했고, 강화학습 에이전트가 실제 데이터로 훈련된 정책과 거의 동일한 정책을 학습할 수 있었다. 이는 DPM을 이러한 목적에 처음으로 사용한 사례이다.

ABSTRACT

This paper presents a novel approach to simulating electronic health records (EHRs) using diffusion probabilistic models (DPMs). Specifically, we demonstrate the effectiveness of DPMs in synthesising longitudinal EHRs that capture mixed-type variables, including numeric, binary, and categorical variables. To our knowledge, this represents the first use of DPMs for this purpose. We compared our DPM-simulated datasets to previous state-of-the-art results based on generative adversarial networks (GANs) for two clinical applications: acute hypotension and human immunodeficiency virus (ART for HIV). Given the lack of similar previous studies in DPMs, a core component of our work involves exploring the advantages and caveats of employing DPMs across a wide range of aspects. In addition to assessing the realism of the synthetic datasets, we also trained reinforcement learning (RL) agents on the synthetic data to evaluate their utility for supporting the development of downstream machine learning models. Finally, we estimated that our DPM-simulated datasets are secure and posed a low patient exposure risk for public access.

연구 동기 및 목표

• 수치형, 이진형, 범주형 변수를 포함한 현실적이고 프라이버시를 보장하는 종단적 EHR를 생성할 수 있는 생성 모델을 개발하는 것.
• GAN이 안정성과 모드 붕괴 문제로 어려움을 겪는 시간 시리즈 임상 데이터에서 확산 확률 모델(DPM)의 성능을 평가하는 것.
• 강화학습(RL) 에이전트의 임상 의사결정 훈련을 위해 DPM에 의해 생성된 합성 데이터와 최신 기술의 GAN 기반 합성 데이터의 유효성을 비교하는 것.
• 공개 배포를 위한 합성 데이터셋의 통계적 현실성과 환자 유출 위험을 평가하는 것.

제안 방법

• 시간적 순서가 있는 EHR 데이터에서 혼합형 변수를 처리하기 위해 조건부 확산 확률 모델(DPM)을 설계하여, 시간 시리즈 데이터에 점차 노이즈를 추가하는 전방 확산 과정을 학습시켰다.
• 노이즈 제거 과정을 통해 노이즈에서 깨끗하고 현실적인 EHR 시퀀스를 복원하도록 학습하였으며, 시간 임bedding 조건과 이산형 변수를 위한 범주형 임베딩 레이어를 갖춘 U-Net 아키텍처를 사용했다.
• MIMIC-III(급성 저혈압)와 EuResist(HIV 항레트로바이러스 치료)에서의 실제 종단적 EHR 데이터를 사용하여 모델을 훈련하였으며, 혼합 데이터 유형을 처리하기 위해 변수별 전처리 및 정규화를 수행했다.
• 노이즈 제거 과정을 안내하기 위해 조건부 스코어 기반 훈련 목표를 사용하여, 시간에 따라 다양하고 현실적인 환자 궤적을 생성할 수 있도록 했다.
• 실제성과 유효성을 평가하기 위해 통계적 검정(KS, t-검정, F-검정), 상관관계 일치도, 강화학습 정책 모방을 사용하여 합성 데이터를 평가했다.
• 환자 유출 위험은 재식별 지표를 사용하여 추정하였으며, 공개 배포에 있어 낮은 노출 위험을 확인하여 프라이버시 보호에 대한 신뢰를 확보했다.

실험 결과

연구 질문

• RQ1 확산 확률 모델은 수치형, 이진형, 범주형 데이터를 포함한 혼합형 변수를 갖는 종단적 EHR를 효과적으로 생성할 수 있는가? 특히 시간적 의존성을 유지할 수 있는가?
• RQ2 DPM에 의해 생성된 합성 EHR의 현실성은 통계적 성질과 상관관계 구조 측면에서 최신 기술의 GAN 기반 합성 데이터에 비해 어떻게 비교되는가?
• RQ3 DPM에 의해 생성된 합성 데이터로 훈련된 강화학습 에이전트는 실제 임상 데이터로 훈련된 정책과 얼마나 유사한 정책을 학습할 수 있는가?
• RQ4 모드 붕괴와 데이터 다양성 측면에서 DPM을 GAN에 비해 사용할 때의 주요 장점과 한계는 무엇인가?
• RQ5 합성 데이터셋의 환자 유출 위험은 무엇이며, 공개 배포가 안전한가?

주요 결과

• DPM에 의해 생성된 급성 저혈압과 HIV 항레트로바이러스 치료에 대한 합성 데이터는 GAN 기반 합성 데이터에 비해 더 뛰어난 통계적 현실성을 보였으며, 상관관계 구조와 다중모드 분포에서 더 나은 일치를 보였다.
• DPM에 의해 시뮬레이션된 데이터로 훈련된 강화학습 에이전트는 실제 데이터로 훈련된 정책과 거의 구분되지 않는 정책을 학습했으며, 정책 유사성과 행동 추천 정확도 측면에서 GAN에 의해 생성된 데이터로 훈련된 에이전트를 능가했다.
• 극단적인 꼬리 분포를 가진 수치형 변수(예: 패혈증에서의 경우)의 경우 DPM이 분포 특성을 유지하지 못해 KS, t-검정, F-검정 비교에서 실패했으며, 이는 극단적 값 분포를 포괄하는 데 한계가 있음을 시사한다.
• 합성 데이터셋은 낮은 환자 유출 위험을 지닌 것으로 추정되어, PhysioNet와 FigShare를 통해 공개 배포하는 데 있어 프라이버시 보호에 대한 신뢰를 가질 수 있었다.
• 급성 저혈압(DPM 시뮬레이션, 환자 3,910명, 기록 187,680건)과 HIV(DPM 시뮬레이션, 환자 8,916명, 기록 534,960건)에 대한 DPM 시뮬레이션 데이터셋은 향후 연구를 위한 공개된 고정밀 기준 데이터로 공개되었다.