[논문 리뷰] Multi-Label Clinical Time-Series Generation via Conditional GAN

Chang Lü, Chandan K. Reddy외 3명|arXiv (Cornell University)|2022. 04. 10.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 시간적 상관관계를 유지하고 희귀 질환의 생성을 향상시키는 다중 레이블 임상 시간열 데이터를 생성하기 위한 조건부 GAN 프레임워크인 MTGAN을 제안한다. 부드러운 조건부 행렬을 갖춘 게이트드 순환 단위(GRU)와 시간적 특징 정규화를 적용한 워샤르슈타인 비평가를 사용함으로써, MTGAN은 현실적인 EHR 시퀀스를 생성하는 데 있어 기존 최고 수준의 GAN들을 능가하며, 특히 희귀 질환에 대해 뛰어난 성능을 보인다. 이는 후행 예측 작업과 통계적 지표를 통해 검증되었다.

ABSTRACT

In recent years, deep learning has been successfully adopted in a wide range of applications related to electronic health records (EHRs) such as representation learning and clinical event prediction. However, due to privacy constraints, limited access to EHR becomes a bottleneck for deep learning research. To mitigate these concerns, generative adversarial networks (GANs) have been successfully used for generating EHR data. However, there are still challenges in high-quality EHR generation, including generating time-series EHR data and imbalanced uncommon diseases. In this work, we propose a Multi-label Time-series GAN (MTGAN) to generate EHR and simultaneously improve the quality of uncommon disease generation. The generator of MTGAN uses a gated recurrent unit (GRU) with a smooth conditional matrix to generate sequences and uncommon diseases. The critic gives scores using Wasserstein distance to recognize real samples from synthetic samples by considering both data and temporal features. We also propose a training strategy to calculate temporal features for real data and stabilize GAN training. Furthermore, we design multiple statistical metrics and prediction tasks to evaluate the generated data. Experimental results demonstrate the quality of the synthetic data and the effectiveness of MTGAN in generating realistic sequential EHR data, especially for uncommon diseases.

연구 동기 및 목표

• 개인정보 보호 및 데이터 부족 제약 조건으로 인해 현실적이고 시간적으로 일관된 다중 레이블 EHR 시퀀스 생성의 과제를 해결한다.
• 불균형한 EHR 데이터셋에서 흔하지 않은 질환의 생성 품질을 향상시켜, 일반적으로 합성 데이터에서 부족하게 표현되는 질환을 개선한다.
• 희소한 방문 수준의 EHR 데이터에서 시간적 상관관계를 유지하면서도 안정적인 GAN 학습 전략을 개발한다.
• 분포 이산도를 넘어서는 평가 지표를 설계하여, 특히 희귀 질환에 대해 합성 데이터 품질을 평가한다.
• 합성 EHR 데이터가 후행 임상 예측 모델의 성능 향상에 기여하는 바를 입증한다. 특히 희귀 질환에 대해 유용하다.

제안 방법

• 시간적 의존성을 모델링하여 환자 수준의 EHR 시퀀스를 생성하는 다중 레이블 시간열 GAN(MTGAN)을 제안한다.
• 다중 레이블 진단을 조건으로 하여 생성을 유도하고 희귀 질환 샘플링을 향상시키기 위해 생성기에서 게이트드 순환 단위(GRU)와 부드러운 조건부 행렬을 사용한다.
• 실제와 합성 샘플을 구분하기 위해 데이터 및 시간적 특징을 평가하는 기울기 보정이 적용된 워샤르슈타인 비평가(WGAN-GP)를 구현한다.
• 비평가에 방문 수준의 시간적 상관관계를 계산하고 통합함으로써 학습 안정성을 향상시키는 시간적 특징 학습 전략을 도입한다.
• 이중 단계 학습 프로세스를 적용한다: 먼저 실존 데이터로 생성기를 사전 학습하고, 이후 조건부 노이즈와 질환 레이블을 사용하여 생성기와 비평가를 함께 학습한다.
• 다중 레이블 진단 벡터를 인코딩하는 조건부 행렬을 사용하여 생성기가 다양하고 현실적인 방문 시퀀스를 생성하도록 이끈다.

실험 결과

연구 질문

• RQ1 MTGAN은 기존의 방문 수준 GAN들과 달리 방문 간 시간적 상관관계를 유지하는 다중 레이블 임상 시간열 데이터를 생성할 수 있는가?
• RQ2 MTGAN은 기존 최고 수준의 GAN들과 비교해 불균형한 EHR 데이터셋에서 희귀 질환의 생성 품질을 어느 정도 향상시키는가?
• RQ3 MTGAN이 생성한 합성 데이터는 특히 희귀 질환에 대해 후행 임상 예측 모델의 성능 향상에 얼마나 효과적인가?
• RQ4 비평가에 시간적 특징 정규화를 통합함으로써 희소한 EHR 데이터에서 GAN 학습의 안정성이 향상되는가?
• RQ5 통계적 지표와 후행 예측 작업이 전통적인 분포 이산도 측정 방식을 초월하여 합성 EHR 데이터의 품질을 공동으로 검증할 수 있는가?

주요 결과

• MTGAN은 WGAN-GP, TimeGAN, T-CGAN 등 다른 GAN들과 비교해 통계적 성질이 향상된 EHR 시퀀스를 생성하며, 특히 희귀 질환의 표현이 향상되었다.
• 후행 진단 예측 작업에서 MTGAN이 생성한 데이터는 희귀 질환인 파킨슨병과 결핵에 대해 F1 점수와 AUC에서 가장 큰 향상을 보였다.
• 합성 데이터로 예측 모델(Dipole 및 GRAM)을 사전 학습했을 때, MTGAN은 모든 작업에서 일관되게 높은 성능 향상을 달성했으며, 특히 파킨슨병 예측에서 가장 두드러진 향상을 보였다.
• 합성 데이터 비율을 실존 데이터의 0.5배에서 2배로 증가시킬수록 후행 모델의 성능 향상이 있었고, MTGAN는 가장 안정적이고 뚜렷한 성능 향상을 보였다. 이는 MTGAN의 합성 데이터가 더 정보가 많다는 것을 시사한다.
• 비평가에 도입된 시간적 특징 정규화는 학습 안정성 향상과 실제 샘플과 합성 샘플 간의 구분 능력 향상에 기여하였다.
• 생성기의 부드러운 조건부 행렬은 특히 저빈도 조건에 대해 다중 레이블 질환 생성의 다양성과 현실성 향상에 뚜렷한 기여를 하였다.