[논문 리뷰] Vector Quantized Time Series Generation with a Bidirectional Prior Model

Dae-Soo Lee, Sara Malacarne외 1명|arXiv (Cornell University)|2023. 03. 08.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

TimeVQVAE는 시간-주파수 VQ-VAE를 LF-HF 분리와 양방향 트랜스포머 프라이어스를 사용하여 글로벌 시간적 일관성과 샘플 품질을 향상시키는 시간 시계열 생성용 2단계 벡터 양자화 접근법을 도입합니다.

ABSTRACT

Time series generation (TSG) studies have mainly focused on the use of Generative Adversarial Networks (GANs) combined with recurrent neural network (RNN) variants. However, the fundamental limitations and challenges of training GANs still remain. In addition, the RNN-family typically has difficulties with temporal consistency between distant timesteps. Motivated by the successes in the image generation (IMG) domain, we propose TimeVQVAE, the first work, to our knowledge, that uses vector quantization (VQ) techniques to address the TSG problem. Moreover, the priors of the discrete latent spaces are learned with bidirectional transformer models that can better capture global temporal consistency. We also propose VQ modeling in a time-frequency domain, separated into low-frequency (LF) and high-frequency (HF). This allows us to retain important characteristics of the time series and, in turn, generate new synthetic signals that are of better quality, with sharper changes in modularity, than its competing TSG methods. Our experimental evaluation is conducted on all datasets from the UCR archive, using well-established metrics in the IMG literature, such as Fréchet inception distance and inception scores. Our implementation on GitHub: \url{https://github.com/ML4ITS/TimeVQVAE}.

연구 동기 및 목표

• GAN 기반 방법과 RNN의 한계를 넘어서는 시계열 생성을 개선하려는 동기 부여.
• TSG를 위한 VQ 기반의 2단계 프레임워크(VQ-VAE와 양방향 프라이어스) 도입.
• 품질과 제어 가능성을 향상시키기 위해 시간-주파수 표현과 LF-HF 잠재 분리를 활용.
• 무조건적 및 클래스 조건부 생성을 효율적으로 샘플링.
• IMG 스타일 지표(IS, FID, CAS)를 사용한 UCR 아카이브에 대한 포괄적 평가 및 평가를 위한 사전 학습 FCN 모델 공유

제안 방법

• 시계열을 STFT를 통해 시간-주파수 도메인으로 변환하고 LF와 HF 영역으로 분리합니다.
• 해당 인코더, 디코더, 코드북을 갖춘 두 개의 LF 및 HF VQ-VAE 가지를 사용합니다.
• LF 및 HF 토큰에 대한 이산 잠재 공간을 학습하고 두 가지 양방향 트랜스포머를 프라이어로 학습합니다.
• LF를 먼저 샘플링하고 HF를 나중에 샘플하는 이중 패스 디코딩으로 최종 신호를 형성합니다.
• LF 및 HF 토큰에 대한 이중 패스 스킴을 가진 MaskGIT에서 영감을 얻은 반복적 마스킹 기반 프라이어 학습을 구현합니다.
• 클래스 토큰과 샘플링 시 분류자 없는 가이던스를 통해 클래스 조건부 생성을 가능하게 합니다.
• 전체 UCR 아카이브에서 IS, FID, CAS로 평가하고 평가를 위한 사전 학습된 FCN 모델을 공유합니다.

실험 결과

연구 질문

• RQ1 TimeVQVAE가 unconditional 및 클래스 조건부 생성에서 GAN/RNN 기반 TSG 방법을 능가할 수 있는가? UCR 데이터셋 전반에 걸쳐 평가합니다.
• RQ2 LF-HF 분리가 적용된 시간-주파수 VQ 모델링이 시간 도메인 VQ에 비해 재구성 및 샘플 품질을 향상시키는가?
• RQ3 양방향 트랜스포머 프라이어가 TSG에서 자기회귀 프라이어보다 글로벌 시간적 일관성을 더 잘 포착하는가?
• RQ4 가이드된 클래스 조건부 샘플링과 지각 손실이 샘플 현실감과 클래스 충실도에 추가 이득을 주는가?
• RQ5 LF-우선 HF-후샘플링과 반복적 디코딩이 생성된 시계열의 다양성과 충실도에 어떤 영향을 미치는가?

주요 결과

• TimeVQVAE는 무조건적 샘플링에서 IS와 FID 측면에서 경쟁 모델(GMMN, RCGAN, TimeGAN, SigCWGAN)을 상회합니다.UCR 데이터셋에서.
• LF-HF 분리로 시간-주파수 도메인에서 생성된 신호의 품질과 급격한 변화를 시간 도메인 VQ보다 더 잘 포착합니다.
• LF 및 HF 프라이어를 위한 두 개의 양방향 트랜스포머를 학습시키면 글로벌 시간적 일관성이 향상됩니다.
• 이중 패스 디코딩(먼저 LF, 그다음 HF)과 확률적 샘플링을 통한 반복적 디코딩은 현실감을 개선하고 학습/추론 간 격차를 줄입니다.
• 약한 가이던스 스케일의 가이드된 클래스 조건부 샘플링은 경계가 더 뚜렷하고 CAS가 베이스라인보다 우수하게 나타나게 합니다.
• 사전 학습된 FCN을 사용하는 지각 손실은 샘플 품질에 작지만 긍정적인 이득을 제공합니다.