[논문 리뷰] Real-valued (Medical) Time Series Generation with Recurrent Conditional GANs

Cristóbal Esteban, Stephanie L. Hyland외 1명|arXiv (Cornell University)|2017. 06. 08.

Time Series Analysis and Forecasting인용 수 380

한 줄 요약

논문은 Recurrent GANs(RGAN)과 Recurrent Conditional GANs(RCGAN)을 도입하여 의학 ICU 데이터를 포함한 실제 값(real-valued) 다차원 시계열을 생성하고, 새로운 평가 방법(MMD, TSTR)과 차등 프라이버시 실험을 제안합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have shown remarkable success as a framework for training models to produce realistic-looking data. In this work, we propose a Recurrent GAN (RGAN) and Recurrent Conditional GAN (RCGAN) to produce realistic real-valued multi-dimensional time series, with an emphasis on their application to medical data. RGANs make use of recurrent neural networks in the generator and the discriminator. In the case of RCGANs, both of these RNNs are conditioned on auxiliary information. We demonstrate our models in a set of toy datasets, where we show visually and quantitatively (using sample likelihood and maximum mean discrepancy) that they can successfully generate realistic time-series. We also describe novel evaluation methods for GANs, where we generate a synthetic labelled training dataset, and evaluate on a real test set the performance of a model trained on the synthetic data, and vice-versa. We illustrate with these metrics that RCGANs can generate time-series data useful for supervised training, with only minor degradation in performance on real test data. This is demonstrated on digit classification from 'serialised' MNIST and by training an early warning system on a medical dataset of 17,000 patients from an intensive care unit. We further discuss and analyse the privacy concerns that may arise when using RCGANs to generate realistic synthetic medical time series data.

연구 동기 및 목표

• adversarial training을 사용하여 실제 값 시퀀스를 생성하는 방법 Demonstrate a method to generate real-valued sequences using adversarial training.
• GAN의 시계열 데이터에 대한 새로운 평가 척도 Propose novel evaluation metrics for GANs on time-series data.
• 감염 관리가 필요한 supervised task에 적합한 합성 의료 시계열 데이터 생성 Show generation of synthetic medical time-series data suitable for supervised tasks.
• 의료 데이터에 대한 RGAN 학습 시 프라이버시 함의 분석 및 GAN에 대한 differential privacy 학습 탐구 Analyze privacy implications and explore differentially private training for GANs on medical data.

제안 방법

• LSTM 기반 생성기와 판별기를 사용하여 실수 값 시퀀스용 RGANS 및 RCANs를 구성합니다.
• 조건부 설정에서 보조 정보를 RGAN/RCGAN에 인코딩하여 제어 가능한 생성 수행합니다.
• 표준 GAN 목표로 학습하되, RGAN에 대한 Wasserstein 목표의 한계를 논의합니다.
• 생성 시퀀스와 실제 시퀀스의 관계를 비교하기 위해 RBF 커널을 사용한 MMD를 평가하고 커널 대역폭을 t-통계로 선택합니다.
• 실용적인 평가 프로토콜로서 TSTR(Train on Synthetic, Test on Real) 및 TRTS(Train on Real, Test on Synthetic)를 도입합니다.
• 민감도 accounting이 있는 DP-SGD를 판별기에 적용하여 차등 프라이버시를 통한 프라이버시를 탐구합니다.

실험 결과

연구 질문

• RQ1 순환 GAN이 현실적인 실제 값 다차원 시계열을 생성할 수 있는가?
• RQ2 조건 입력이 시계열 데이터의 제어된 생성을 가능하게 하는가?
• RQ3 GAN으로 생성된 시계열에 대한 신뢰할 수 있는 작업 관련 평가가 있는가(예: TSTR, MMD 2)?
• RQ4 합성 데이터로 학습된 모델이 실제 데이터로 학습된 모델의 성능에 근접한가?
• RQ5 의료 데이터에 대해 RGAN을 학습시킬 때 프라이버시 함의는 무엇이며 차등 프라이버시가 실용적 보장을 제공할 수 있는가?

주요 결과

• RGAN과 RCAGN은 합성 사인파, 매끄러운 함수, MNIST를 시계열로 취급하는 작업에서 현실적인 시퀀스를 생성할 수 있습니다.
• MMD 2는 데이터 품질과 상관관계가 있으며 생성 분포와 실제 분포를 구별할 수 있습니다; 커널을 결합하면 민감도가 향상됩니다.
• TSTR/TRTS 평가에서 합성 데이터가 실제 데이터 기반 벤치마크에 근접한 성능으로 감독 학습을 지원할 수 있음을 보여줍니다(예: MNIST 및 eICU 실험).
• ICU 데이터 실험에서 RCGAN으로 합성된 데이터가 다수의 건강 지표에 대해 TSTR 평가 하에서 경쟁력 있는 분류를 지원했습니다.
• DP-SGD에서 판별기의 차등 프라이버시 학습은 비프라이버시 학습에 비해 작업 정확도가 눈에 띄게 낮아 의료 데이터 합성에서의 프라이버시-성과 트레이드오프를 강조합니다.