[논문 리뷰] GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks

Jinsung Jeon, Jeonghak Kim외 3명|arXiv (Cornell University)|2022. 10. 05.

Time Series Analysis and Forecasting인용 수 21

한 줄 요약

GT-GAN은 자동인코더, NODE/NCDE, 및 연속시간 흐름 프로세스를 정확한 우도 학습과 함께 통합하여 일반적이면서도 불규칙한 시계열을 합성할 수 있는 범용 GAN 기반 프레임워크를 제시한다.

ABSTRACT

Time series synthesis is an important research topic in the field of deep learning, which can be used for data augmentation. Time series data types can be broadly classified into regular or irregular. However, there are no existing generative models that show good performance for both types without any model changes. Therefore, we present a general purpose model capable of synthesizing regular and irregular time series data. To our knowledge, we are the first designing a general purpose time series synthesis model, which is one of the most challenging settings for time series synthesis. To this end, we design a generative adversarial network-based method, where many related techniques are carefully integrated into a single framework, ranging from neural ordinary/controlled differential equations to continuous time-flow processes. Our method outperforms all existing methods.

연구 동기 및 목표

• 아키텍처를 변경하지 않고도 일반적인 시계열과 불규칙한 시계열을 모두 합성할 수 있는 단일 모델의 필요성을 제시한다.
• 정확한 우도 학습과 함께 GAN, 자동인코더, NCDE, CTFP를 결합한 GT-GAN 프레임워크를 제안한다.
• 포괄적인 실험을 통해 규칙적 데이터와 불규칙적 데이터 모두에서 기존 기준선보다 우수한 성능을 입증한다.

제안 방법

• 가변변환 정리에 따라 정확한 우도 학습을 가능하게 하는 자동인코더와 결합된 가역 생성기.
• 실제 시계열을 은닉 벡터로 인코딩하고 GRU-ODE/GRU 기반 디코더를 통해 연속 경로를 재구성하는 자동인코더 경로.
• 생성기가 연속시간 흐름 프로세스(CTFP)를 통해 은닉 벡터를 출력하고 판별자가 생성된 경로를 평가하는 GAN 기반 적대 경로.
• 로그 밀도 경로로 로그밀도에 대한 Hutchinson의 트레이스 추정기를 사용해 생성자의 정확한 MLE 학습을 가능하게 한다.
• 재구성 손실, GAN 손실 및 주기적 MLE 손실을 결합한 학습 절차로 모드 붕괴를 방지한다.
• 연속 경로에서 샘플링한 시점으로 불규칙 시계열을 지원하는 통합 프레임워크.

실험 결과

연구 질문

• RQ1 아키텍처를 변경하지 않고 단일 모델이 일반적인 시계열과 불규칙 시계열을 모두 합성할 수 있는가?
• RQ2 NCDEs, GRU-ODEs, CTFPs를 GAN과 통합하는 것이 다양한 시계열의 합성 품질을 향상시키는가?
• RQ3 시계열 합성에서 생성기의 성능에 정확한 우도 학습이 이로운가?
• RQ4 GT-GAN이 규칙적 및 불규칙적 데이터 세트에서 전문화된 기준선 대비 어떻게 성능을 발휘하는가?

주요 결과

방법	Sines (판별)	Stocks (판별)	Energy (판별)	MuJoCo (판별)	Sines (예측)	Stocks (예측)	Energy (예측)	MuJoCo (예측)
GT-GAN	.012	.077	.221	.245	.097	.040	.312	.055
TimeGAN	.011	.102	.236	.409	.093	.038	.273	.082
RCGAN	.022	.196	.336	.436	.097	.040	.292	.081
C-RNN-GAN	.229	.399	.499	.412	.127	.038	.483	.055
T-Forcing	.495	.226	.483	.499	.150	.022	.315	.142
P-Forcing	.430	.257	.412	.500	.116	.004	.303	.102
WaveNet	.158	.232	.397	.385	.117	.042	.311	.333
WaveGAN	.277	.217	.363	.357	.134	.041	.307	.324
Original	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A

• GT-GAN은 Sines, Stocks, Energy, MuJoCo 데이터세트에서 규칙적 시계열 합성의 기준선보다 판별 및 예측 지표에서 우수한 성능을 보인다.
• GT-GAN은 여러 드롭 비율(30%, 50%, 70%)에서 불규칙 시계열에 대해 우수한 판별 및 예측 점수를 달성한다.
• 특징 제거 연구는 Eq.(8) 로그밀도 학습, 사전 학습 또는 다른 하위 부품이 없는 변형들보다 전체 모델이 더 우수하다고 보여준다.
• 시각화는 일반 설정에서 GT-GAN이 TimeGAN보다 원래 데이터 분포를 더 잘 커버한다는 것을 시사한다.
• 특성 제거 연구는 통합 아키텍처의 필요성을 드러내며 부품 제거는 작업 전반의 성능 저하를 야기한다.