[논문 리뷰] Time-series Transformer Generative Adversarial Networks

Padmanaba Srinivasan, William J. Knottenbelt|arXiv (Cornell University)|2022. 05. 23.

Time Series Analysis and Forecasting인용 수 9

한 줄 요약

TsT-GAN은 시간열 데이터 합성에 적합한 Transformer 기반 생성 적대 신경망을 제안하며, 전반적인 연관 분포와 단계별 조건부 의존성을 동시에 모델링한다. 마스크된 언어 모델링과 모멘트 매칭 목적함수를 통합하여 다섯 개의 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하며, 예측 및 분류 작업에서 다섯 개의 SOTA 기준 모델을 능가한다.

ABSTRACT

Many real-world tasks are plagued by limitations on data: in some instances very little data is available and in others, data is protected by privacy enforcing regulations (e.g. GDPR). We consider limitations posed specifically on time-series data and present a model that can generate synthetic time-series which can be used in place of real data. A model that generates synthetic time-series data has two objectives: 1) to capture the stepwise conditional distribution of real sequences, and 2) to faithfully model the joint distribution of entire real sequences. Autoregressive models trained via maximum likelihood estimation can be used in a system where previous predictions are fed back in and used to predict future ones; in such models, errors can accrue over time. Furthermore, a plausible initial value is required making MLE based models not really generative. Many downstream tasks learn to model conditional distributions of the time-series, hence, synthetic data drawn from a generative model must satisfy 1) in addition to performing 2). We present TsT-GAN, a framework that capitalises on the Transformer architecture to satisfy the desiderata and compare its performance against five state-of-the-art models on five datasets and show that TsT-GAN achieves higher predictive performance on all datasets.

연구 동기 및 목표

• 의료 및 사용자 상호작용 분석과 같은 실생활 응용 분야에서 제한되거나 개인정보 보호 정책으로 인해 시간열 데이터 확보가 어려운 문제를 해결한다.
• 전체 시간열 시퀀스의 연관 분포와 각 시점에서의 조건부 분포를 모두 포괄하는 생성 모델을 개발한다.
• 자기회귀 모델에서 발생하는 누적 오류 문제를 해결하기 위해 자기회귀가 아닌 어텐션 기반 생성자와 사전학습 기반의 자기지도 학습을 도입한다.
• GAN과 마스크된 모델링을 융합한 새로운 학습 프레임워크를 통해 하류 작업에 적합한 일반화 능력과 데이터의 사실성 향상을 도모한다.
• 양적(TS-TR) 및 질적(t-SNE) 평가를 통해 다양한 시간열 기준 데이터셋에서 다섯 개의 최신 기술 모델보다 뛰어난 성능을 입증한다.

제안 방법

• 시간열 토큰을 마스크한 후 복원하는 데 목적이 있는 마스크된 언어 모델링 목적함수를 활용해 생성자에 대해 사전학습을 수행함으로써 표현 학습 능력을 향상시킨다.
• 실제 시퀀스와 생성된 시퀀스의 1차 및 2차 통계량을 일치시키기 위해 모멘트 매칭(MM) 손실을 통합함으로써 분포의 사실성 향상을 도모한다.
• 조건부 GAN 프레임워크를 사용하여 구분자(discriminator)가 실제 시퀀스와 합성 시퀀스를 구분하도록 하며, 생성자는 이를 속이도록 학습된다.
• 최소제곱 GAN(LS-GAN) 손실과 보조적인 MM 손실을 조합하여 생성자를 학습하고, 구분자는 실제 시퀀스와 생성된 시퀀스를 구분하도록 학습한다.
• 입력 시간열 데이터를 잠재 공간에 매핑하기 위해 학습 가능한 임베딩 레이어를 도입함으로써 시간적 의존성을 더 잘 모델링할 수 있도록 한다.
• 자기회귀 모델에서 흔히 발생하는 오류 전파 문제를 방지하기 위해 생성자에 이중 방향 Transformer 인코더를 사용하여 장거리 시간적 맥락을 포착한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 GAN 아키텍처가 시간열 데이터의 연관 분포와 조건부 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 표준 GAN에 비해 마스크된 언어 모델링을 통합함으로써 합성 시간열 데이터의 품질은 얼마나 향상되는가?
• RQ3 다양한 시간열 데이터셋에서 모멘트 매칭이 생성된 시퀀스의 통계적 사실성에 얼마나 기여하는가?
• RQ4 합성 데이터로 학습된 본 모델이 하류 예측 작업에서 기존의 SOTA 모델을 능가하는가?
• RQ5 제안된 구성 요소들(예: 마스크된 모델링, 임베딩, 모멘트 매칭) 각각이 전체 성능에 기여하는 정도는 어떠한가? (절단 실험을 통한 분석)

주요 결과

• TS-TR 기준에서 TsT-GAN은 다섯 개의 모든 데이터셋에서 가장 높은 예측 성능를 기록하였으며, 기본 데이터셋에서 평균 테스트 손실은 .010 ± .001을 기록하여 모든 기준 모델을 능가했다.
• 분류 성능 평가(합성 시퀀스를 올바르게 식별한 비율)에서 TsT-GAN은 Sines에서 .026 ± .018, Stocks에서 .122 ± .020, Energy에서 .442 ± .007의 성능을 기록하여 강력한 분포 유사성을 보였다.
• 절단 실험 결과, 임베딩 네트워크를 제거할 경우 Sines를 제외한 모든 데이터셋에서 예측 성능가 급격히 저하되었으며, 이는 조건부 역동성을 모델링하는 데 임베딩의 중요성을 시사한다.
• 모멘트 매칭과 LS-GAN 손실만을 사용한 기본 절단 모델(Baseline ablation)은 TsT-GAN보다 성능이 열 劣하므로, 마스크된 모델링과 임베딩이 성능 향상에 핵심적인 역할을 한다는 것을 입증한다.
• TsT-GAN의 t-SNE 시각화 결과, 특히 Air 및 Chickenpox와 같은 복잡한 데이터셋에서 합성 시퀀스가 잠재 공간에서 실제 데이터와 매우 유사하게 분포되어 있음을 확인하였다.
• 강력한 성능에도 불구하고, 모멘트 매칭과 임베딩을 제외한 기본 모델은 일부 데이터셋(예: Air에서 .613 ± .015)에서 가장 높은 분류 성능를 기록하여 잔여 분포 격차가 여전히 존재함을 시사한다.