[論文レビュー] Vector Quantized Time Series Generation with a Bidirectional Prior Model

Dae-Soo Lee, Sara Malacarne+1 more|arXiv (Cornell University)|Mar 8, 2023

Time Series Analysis and Forecasting被引用数 10

ひとこと要約

TimeVQVAEは、LF-HF分離を備えた時間周波数VQ-VAEと双方向トランスフォーマー事前学習を用いた、時系列生成の2段階のベクトル量子化アプローチを導入し、グローバルな時間的一貫性とサンプル品質を向上させます。

ABSTRACT

Time series generation (TSG) studies have mainly focused on the use of Generative Adversarial Networks (GANs) combined with recurrent neural network (RNN) variants. However, the fundamental limitations and challenges of training GANs still remain. In addition, the RNN-family typically has difficulties with temporal consistency between distant timesteps. Motivated by the successes in the image generation (IMG) domain, we propose TimeVQVAE, the first work, to our knowledge, that uses vector quantization (VQ) techniques to address the TSG problem. Moreover, the priors of the discrete latent spaces are learned with bidirectional transformer models that can better capture global temporal consistency. We also propose VQ modeling in a time-frequency domain, separated into low-frequency (LF) and high-frequency (HF). This allows us to retain important characteristics of the time series and, in turn, generate new synthetic signals that are of better quality, with sharper changes in modularity, than its competing TSG methods. Our experimental evaluation is conducted on all datasets from the UCR archive, using well-established metrics in the IMG literature, such as Fréchet inception distance and inception scores. Our implementation on GitHub: \url{https://github.com/ML4ITS/TimeVQVAE}.

研究の動機と目的

• GANベースの手法やRNNの限界を超えた時系列生成の改善を動機付ける。
• TSGのための2段階のVQベースフレームワーク（VQ-VAEと双方向事前学習）を導入する。
• 時間周波数表現とLF-HF潜在分離を活用して品質と制御性を向上させる。
• 効率的なサンプリングで無条件生成とクラス条件付き生成を可能にする。
• IS、FID、CASといったIMGスタイルの指標を用いてUCRアーカイブ全体で包括的な評価を提供する。

提案手法

• STFTを用いて時系列を時間周波数ドメインに変換し、LFとHF領域に分割する。
• 対応するエンコーダ・デコーダ・コードブックを備えた2つの独立したVQ-VAEブランチ（LFとHF）を使用する。
• 離散 潜在空間を学習し、LFトークンとHFトークンの事前分布として2つの双方向トランスフォーマを訓練する。
• LFを先に、次いでHFをサンプリングする反復的な二重パスデコーディングを実行し、それらを合算して最終信号を形成する。
• MaskGITに触発されたマスキングベースの反復的事前学習を実装し、LFとHFトークンの二重パス方式を採用する。
• サンプリング時のクラストークンと分類器フリーガイダンスによるクラス条件付き生成を可能にする。
• 全UCRアーカイブでIS、FID、CASを用いて評価し、評価用の事前学習済みFCNモデルを共有する。

実験結果

リサーチクエスチョン

• RQ1 TimeVQVAEは、UCRデータセット全体で無条件生成およびクラス条件付き生成の点で、GAN/RNNベースのTSG手法より優れているか？
• RQ2 LF-HF分離を伴う時間周波数VQモデリングは、時系列ドメインのVQと比較して再構成とサンプル品質を改善するか？
• RQ3 双方向トランスフォーマ事前学習は、TSGにおいて自己回帰事前よりもグローバルな時間的一貫性をより効果的に捉えるか？
• RQ4 ガイド付きのクラス条件付きサンプリングと知覚損失は、サンプルの現実味とクラス忠実性に追加の利得をもたらすか？
• RQ5 LF-first HF-secondサンプリングと反復デコーディングが、生成時系列の多様性と忠実度に与える影響は何か？

主な発見

• TimeVQVAEは、無条件サンプリングにおけるISとFIDで競合するTSGモデル（GMMN、RCGAN、TimeGAN、SigCWGAN）を上回る。
• 時間周波数ドメインにおけるLF-HF分離は、時系列ドメインのVQよりも品質が高く、生成信号の変化が鋭くなる。
• LFとHFの事前分布用に2つの独立した双方向トランスフォーマを学習することで、グローバルな時間的一貫性が向上する。
• 確率的サンプリングを伴う反復的な二重パスデコーディング（LF優先、HF次）により現実感が向上し、学習と推論のギャップを縮小する。
• 控えめなガイダンススケールでのガイド付きクラス条件付きサンプリングは、クラス境界をより鮮明にし、ベースラインよりもCASが向上する。
• 事前学習済みFCNを用いる知覚損失は、サンプル品質に小さくても肯定的な改善をもたらす。