[論文レビュー] TimeVAE: A Variational Auto-Encoder for Multivariate Time Series Generation

Abhyuday Desai, Cynthia Freeman+2 more|arXiv (Cornell University)|Nov 15, 2021

Time Series Analysis and Forecasting被引用数 38

ひとこと要約

TimeVAE は、解釈可能な時系列構造を持つ多変量時系列を生成する変分オートエンコーダを導入し、GANベースの方法より訓練効率が高い一方で、類似性と予測性能を競合または上回る成果を達成します。

ABSTRACT

Recent work in synthetic data generation in the time-series domain has\nfocused on the use of Generative Adversarial Networks. We propose a novel\narchitecture for synthetically generating time-series data with the use of\nVariational Auto-Encoders (VAEs). The proposed architecture has several\ndistinct properties: interpretability, ability to encode domain knowledge, and\nreduced training times. We evaluate data generation quality by similarity and\npredictability against four multivariate datasets. We experiment with varying\nsizes of training data to measure the impact of data availability on generation\nquality for our VAE method as well as several state-of-the-art data generation\nmethods. Our results on similarity tests show that the VAE approach is able to\naccurately represent the temporal attributes of the original data. On next-step\nprediction tasks using generated data, the proposed VAE architecture\nconsistently meets or exceeds performance of state-of-the-art data generation\nmethods. While noise reduction may cause the generated data to deviate from\noriginal data, we demonstrate the resulting de-noised data can significantly\nimprove performance for next-step prediction using generated data. Finally, the\nproposed architecture can incorporate domain-specific time-patterns such as\npolynomial trends and seasonalities to provide interpretable outputs. Such\ninterpretability can be highly advantageous in applications requiring\ntransparency of model outputs or where users desire to inject prior knowledge\nof time-series patterns into the generative model.\n

研究の動機と目的

• 実データが乏しいまたは制限される場合の合成時系列データ生成を動機づける。
• ドメイン知識をエンコードできる VAE ベースのアーキテクチャ（Base TimeVAE と Interpretable TimeVAE）を提案する。
• 解釈性のために時間的構造（レベル、トレンド、季節性）の組み込みを可能にする。
• TimeVAE が元データへの高い類似性、強力な予測性能、および GAN ベース手法より高速な訓練を達成することを示す。

提案手法

• エンコーダが確率的な潜在 z を出力し、デコーダが X を再構成する変分オートエンコーダを用いる。
• KL 発散を正則化項として含む ELBO 損失で訓練する。
• Base TimeVAE は畳み込み層と全結合層を用いて X(N x T x D) を多変量正規分布の潜在へ、そして再構成へマップする。
• Interpretable TimeVAE はトレンドと季節性の解釈可能なデコーダブロック（ドメイン知識の注入）と残差ベースデコーダを追加する。
• トレンドブロックは z から多項式トレンド係数を推定し、単調なトレンド V_tr を再構成する。
• 季節性ブロックは基底係数とインデックス付けを介して複数の季節パターンをモデル化し、V_sn を再構成し、その後パターンごとに総和する。
• 総合的な解釈器出力は、トレンド、季節性、および任意のベースデコーダ出力の和である。
• TimeVAE の訓練は重み付け ELBO を用い、再構成損失の重みを調整可能（0.5 から 3.5）にする。

実験結果

リサーチクエスチョン

• RQ1 TimeVAE は実データの多変量時系列データの時間的構成要素を忠実にモデル化できるのか。
• RQ2 TimeVAE は類似性と予測タスクにおいて、データ量が異なる場合に GAN ベースおよび自回帰ベースのベースラインとどのように比較されるのか。
• RQ3 ドメイン固有の時間構造（レベル、トレンド、季節性）を注入することは、生成品質を犠牲にせず解釈性を向上させるのか。
• RQ4 TimeVAE は時系列生成の最先端手法と比較してデータ効率性および計算効率が高いのか。

主な発見

モデル	% 訓練	air	energy	sine	stockv
TimeVAE	100	0.381 +/- 0.037	0.498 +/- 0.006	0.021 +/- 0.040	0.009 +/- 0.009
TimeVAE	20	0.350 +/- 0.089	0.499 +/- 0.002	0.039 +/- 0.030	0.176 +/- 0.208
TimeVAE	10	0.425 +/- 0.067	0.499 +/- 0.001	0.053 +/- 0.045	0.080 +/- 0.108
TimeVAE	5	0.292 +/- 0.207	0.500 +/- 0.001	0.051 +/- 0.068	0.191 +/- 0.141
TimeVAE	2	0.154 +/- 0.163	0.492 +/- 0.018	0.048 +/- 0.058	0.300 +/- 0.147

• TimeVAE は、データセットと学習サイズを問わず元データとの高い類似性を示す t-SNE 可視化で強い重なりを達成しており、類似性が高いことを示している。
• 次ステップ予測タスクでは、TimeVAE は競合する生成モデルの性能を一貫して上回るか、元データの性能に近づくことが多く、特に sine および stockv データセットで顕著である。
• TimeVAE はノイズ除去効果を示し、下流の予測性能を改善する可能性がある。
• Interpretable TimeVAE はレベル、トレンド、季節性の明示的なモデリングを可能にし、解釈可能な出力とドメイン知識の注入を促進する。
• TimeVAE の訓練時間は GAN ベースの方法より著しく低い（表3 は明らかに高速な時間を示す）。
• データ不足シナリオ（訓練データの 2–100%）において、TimeVAE は一般的に T-Forcing および RCGAN を上回り、TimeGAN と競合することが多く、ノイズが多いまたはデータ量が少ないデータセットで顕著な利点がある。