[논문 리뷰] Generating Synthetic Clinical Data that Capture Class Imbalanced Distributions with Generative Adversarial Networks: Example using Antiretroviral Therapy for HIV

Nicholas I-Hsien Kuo, Garcia, Federico외 7명|arXiv (Cornell University)|2022. 08. 18.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 HIV 항레트로바이러스 치료(ART) 데이터에서 소수 인구 집단의 분포를 유지하는 합성 임상 시간열 데이터를 생성하기 위해 메모리 버퍼를 갖춘 하이브리드 GAN-VAE 프레임워크를 제안한다. 잠재 특징 재생과 변분 인코딩을 통해 모드 붕괴를 완화함으로써, 높은 정확도, 다양성, 낮은 재식별 위험을 갖는 합성 데이터를 생성하며, 특히 공정성에 민감한 응용 분야에서 하류 기계학습에 있어 유용성을 크게 향상시킨다.

ABSTRACT

Clinical data usually cannot be freely distributed due to their highly confidential nature and this hampers the development of machine learning in the healthcare domain. One way to mitigate this problem is by generating realistic synthetic datasets using generative adversarial networks (GANs). However, GANs are known to suffer from mode collapse thus creating outputs of low diversity. This lowers the quality of the synthetic healthcare data, and may cause it to omit patients of minority demographics or neglect less common clinical practices. In this paper, we extend the classic GAN setup with an additional variational autoencoder (VAE) and include an external memory to replay latent features observed from the real samples to the GAN generator. Using antiretroviral therapy for human immunodeficiency virus (ART for HIV) as a case study, we show that our extended setup overcomes mode collapse and generates a synthetic dataset that accurately describes severely imbalanced class distributions commonly found in real-world clinical variables. In addition, we demonstrate that our synthetic dataset is associated with a very low patient disclosure risk, and that it retains a high level of utility from the ground truth dataset to support the development of downstream machine learning algorithms.

연구 동기 및 목표

• GAN 기반의 합성 임상 데이터 생성에서 발생하는 모드 붕괴 문제를 해결함으로써, 소수 환자 집단의 표현에서 다양성과 공정성을 손상시키지 않도록 하는 것.
• 특히 시간열 데이터인 HIV 항레트로바이러스 치료에서 복잡한 불균형 분포를 유지하는 방법을 개발하는 것.
• 실제 데이터와 유사하고, 표현이 부족한 디모그래픽을 강하게 반영하는 합성 데이터를 생성함으로써 윤리적이고 공정한 기계학습 응용을 보장하는 것.
• 하류 모델(예: 강화 학습 에이전트) 훈련을 위한 데이터 유용성을 유지하면서도 환자 재식별 위험을 최소화함으로써 환자 프라이버시를 보호하는 것.
• 연구 목적을 위한 재현 가능하고 윤리적인 헬스케어 AI를 지원하는 공개 접근이 가능한 고품질의 합성 데이터셋을 제공하는 것.

제안 방법

• 이 방법은 실제 임상 데이터의 분리 가능하고 구조화된 잠재 표현을 학습하기 위해 WGAN-GP에 변분 오토에인코더(VAE)를 통합한다.
• 메모리 버퍼는 훈련 데이터의 실제 잠재 특징을 저장하고 재생하여 생성자에 전달함으로써, 부족한 패턴을 강화함으로써 모드 붕괴를 방지한다.
• 생성자는 랜덤 노이즈와 버퍼에 저장된 실제 잠재 특징을 모두 조건으로 삼아, 다양성과 분포 정확도를 향상시킨다.
• 훈련 안정성과 모드 커버리지 향상을 위해 WGAN-GP 손실에 기울기 페널티(G_EOT)를 사용한다.
• 모델은 13개의 ART 변수에 대해 60개월 종단적 기록을 포함한 8,916명의 환자를 포함한 EuResist HIV ART 데이터셋에서 훈련된다.
• 최종 합성 데이터셋은 534,960행의 44.7 MB CSV 파일로 제작되었으며, https://healthgym.ai/ 에서 공개 접근 가능하다.

실험 결과

연구 질문

• RQ1 VAE와 메모리 재생을 갖춘 GAN 기반 프레임워크가 불균형 임상 시간열 데이터의 합성 생성에서 모드 붕괴를 효과적으로 완화할 수 있는가?
• RQ2 제안된 방법이 실제 임상 변수의 분포 특성, 특히 소수 디모그래픽 집단에서 얼마나 잘 유지되는가?
• RQ3 합성 데이터는 치료 최적화를 위한 강화 학습 에이전트 훈련과 같은 하류 기계학습 작업에서 얼마나 잘 기능하는가?
• RQ4 합성 데이터의 재식별 위험은 실제 데이터와 비교해 얼마나 되며, 충분한 프라이버시를 유지하는가?
• RQ5 메모리 버퍼의 포함이 합성 데이터셋에서 코hort의 다양성과 표현이 부족한 인구 집단의 표현을 어떻게 크게 향상시키는가?

주요 결과

• 제안된 WGAN-GP+G_EOT+VAE+Buffer 모델은 모드 붕괴를 성공적으로 완화하여 기준 GAN보다 훨씬 높은 코hort 다양성을 갖는 합성 데이터를 생성했다.
• 합성 데이터셋은 저빈도 약물 사용 패턴과 소수 디모그래픽 표현(예: 아프리카계 및 아시아계 환자)을 포함한 임상 변수의 불균형 분포를 정확히 반영했다.
• 실제 데이터셋($\mathfrak{D}_{\text{real}}$)에서 훈련된 강화 학습 에이전트와 유사한 치료 행동 정책을 합성 데이터셋($\mathfrak{D}_{\text{alt}}$)에서 훈련한 에이전트가 도출했으며, 특히 소수 환자 집단에서 유사성이 높았다.
• 반면, Kuo 등(2022)이 제시한 기준 합성 데이터셋($\mathfrak{D}_{\text{null}}$)에서 훈련된 에이전트는 모드 붕괴로 인해 소수 집단의 치료 추천에서 상당한 이질성을 보였다.
• 합성 데이터셋은 높은 유사성과 표현력을 확보했으며, 환자 재식별 증거가 없었고, 연구 목적을 위해 https://healthgym.ai/ 에서 공개적으로 배포되었다.
• 이전의 GAN 기반 기준 대비 종단적 HIV ART 데이터에서 변수 상관관계와 시간적 동역학을 더 잘 유지하는 데 뛰어난 성능을 보였다.