[논문 리뷰] TimeVAE: A Variational Auto-Encoder for Multivariate Time Series Generation

Abhyuday Desai, Cynthia Freeman외 2명|arXiv (Cornell University)|2021. 11. 15.

Time Series Analysis and Forecasting인용 수 38

한 줄 요약

TimeVAE는 해석 가능한 시간 구성 요소를 갖춘 다변량 시계열 생성을 위한 변분 자동인코더를 도입하며, GAN 기반 방법보다 더 짧은 학습 시간으로 동일성 및 예측 성능이 경쟁력 있거나 우수하게 달성한다.

ABSTRACT

Recent work in synthetic data generation in the time-series domain has focused on the use of Generative Adversarial Networks. We propose a novel architecture for synthetically generating time-series data with the use of Variational Auto-Encoders (VAEs). The proposed architecture has several distinct properties: interpretability, ability to encode domain knowledge, and reduced training times. We evaluate data generation quality by similarity and predictability against four multivariate datasets. We experiment with varying sizes of training data to measure the impact of data availability on generation quality for our VAE method as well as several state-of-the-art data generation methods. Our results on similarity tests show that the VAE approach is able to accurately represent the temporal attributes of the original data. On next-step prediction tasks using generated data, the proposed VAE architecture consistently meets or exceeds performance of state-of-the-art data generation methods. While noise reduction may cause the generated data to deviate from original data, we demonstrate the resulting de-noised data can significantly improve performance for next-step prediction using generated data. Finally, the proposed architecture can incorporate domain-specific time-patterns such as polynomial trends and seasonalities to provide interpretable outputs. Such interpretability can be highly advantageous in applications requiring transparency of model outputs or where users desire to inject prior knowledge of time-series patterns into the generative model.

연구 동기 및 목표

• 실제 데이터가 희소하거나 제약될 때 합성 시계열 데이터 생성을 동기로 한다.
• 도메인 지식을 인코딩할 수 있는 VAE 기반 아키텍처(Base TimeVAE 및 Interpretable TimeVAE) 제안.
• 해석 가능성을 위한 시간 구조(레벨, 추세, 계절성) 도입.
• TimeVAE가 원본과의 데이터 유사성, 강력한 예측 성능 및 GAN 기반 방법보다 빠른 학습을 달성함을 보인다.

제안 방법

• 엔코더가 확률적 잠재 벡터 z를 출력하고 디코더가 X를 재구성하는 변분 자동인코더를 사용한다.
• KL 발산을 포함한 ELBO 손실로 훈련하여 잠재 공간을 정규화한다.
• Base TimeVAE는 X(N x T x D)를 다변량 가우시안 잠재로 매핑하고 다시 되돌리기 위해 합성곱 및 밀집(Dense) 층을 사용한다.
• Interpretable TimeVAE는 추세 및 계절성에 대한 해석 가능한 디코더 블록(도메인 지식 주입)과 잔차 기반 디코더를 추가한다.
• 추세 블록은 z로부터 다항 추세 계수를 추정하고 해석 가능한 monotonic 추세 V_tr를 재구성한다.
• 계절성 블록은 기본 계수 및 인덱싱을 통해 여러 계절 패턴을 모델링하고 V_sn을 재구성한 뒤 패턴 간 합을 얻는다.
• 전체 해석기 출력은 추세, 계절성 및 선택적 기본 디코더 출력의 합이다.
• TimeVAE 훈련은 재구성 손실 가중치를 조정할 수 있는 가중 ELBO를 사용한다(0.5에서 3.5까지).

실험 결과

연구 질문

• RQ1 TimeVAE가 실제 다변량 시계열 데이터의 시간 구성 요소를 충실히 모델링할 수 있는가?
• RQ2 데이터 가용성의 변화에 따라 비슷성 및 예측 작업에서 TimeVAE가 GAN 기반 및 자기회귀 기반의 베이스라인과 어떻게 비교되는가?
• RQ3 도메인 특화 시간 구조(레벨, 추세, 계절성)를 주입하는 것이 생성 품질을 희생시키지 않으면서 해석 가능성을 높이는가?
• RQ4 TimeVAE가 시계열 생성의 최첨단 방법들보다 데이터 효율적이고 계산 효율적으로 학습되는가?

주요 결과

• TimeVAE는 학습 크기에 관계없이 데이터 원본과의 오버랩이 강하게 나타나고, t-SNE 시각화에서 높은 유사성을 보인다.
• 다음 단계 예측 작업에서 TimeVAE는 경쟁 생성기 대비 일관되게 성능을 충족하거나 상회하며, 특히 sine 및 stockv 데이터셋에서 원본 데이터 성능에 근접하는 경향이 있다.
• TimeVAE는 잡음을 제거하는 효과를 보여 다운스트림 예측 성능을 개선할 수 있다.
• 해석 가능 TimeVAE는 레벨, 추세, 계절성의 명시적 모델링을 가능하게 하여 해석 가능한 출력과 도메인 지식 주입을 촉진한다.
• TimeVAE의 학습 시간은 GAN 기반 방법보다 현저히 짧다(표 3에서 시간 차이가 크게 나타난다).
• 데이터 부족 상황(2–100% 학습 데이터)에서도 TimeVAE는 일반적으로 T-Forcing 및 RCGAN을 능가하고 TimeGAN과 경쟁적이며, 노이즈가 크거나 데이터가 작은 데이터셋에서 특히 우수한 이점을 보인다.