[論文レビュー] Regular Time-series Generation using SGM

Haksoo Lim, Minjung Kim+2 more|arXiv (Cornell University)|Jan 20, 2023

Time Series Analysis and Forecasting被引用数 8

ひとこと要約

この論文は、エンコーダ−デコーダと特化型のデノイジング・スコア整合損失を介して潜在空間で条件付きスコア関数を学習することで時系列を合成する条件付きスコアベース生成モデル（TSGM）を導入し、サンプリング品質と多様性の両方で最先端の結果を達成している。

ABSTRACT

Score-based generative models (SGMs) are generative models that are in the spotlight these days. Time-series frequently occurs in our daily life, e.g., stock data, climate data, and so on. Especially, time-series forecasting and classification are popular research topics in the field of machine learning. SGMs are also known for outperforming other generative models. As a result, we apply SGMs to synthesize time-series data by learning conditional score functions. We propose a conditional score network for the time-series generation domain. Furthermore, we also derive the loss function between the score matching and the denoising score matching in the time-series generation domain. Finally, we achieve state-of-the-art results on real-world datasets in terms of sampling diversity and quality.

研究の動機と目的

• 予測・欠損補完を超える高品質で多様な時系列合成を動機づけ・実現する。
• 条件付きサンプリングを用いた時系列生成へのSGMの拡張。
• 時系列データに特化したデノイジング・スコア整合損失の開発。
• 実データでの生成を可能にするエンコーダ−デコーダ＋条件付きスコアネットワークの実用的フレームワーク（TSGM）の提案。
• 複数データセットにおける最先端の生成品質と多様性の実証。

提案手法

• 時系列SGM（TSGM）を三要素（エンコーダ、デコーダ、時系列生成向けに設計された条件付きスコアネットワーク）として提案。
• 時系列を潜在空間へ写像し戻すRNNベースのエンコーダ−デコーダを事前学習して時間的構造を捕捉。
• 拡散潜在表現に対する条件付き対数尤度の勾配を学習する条件付きスコアネットワークを、時系列向けのデノイジング・スコア整合目的関数（L_score^H）で訓練。
• 潜在表現に対して前向きSDEを用いてh_t^sを拡散させ、訓練済みスコアネットワークを用いた予測子-修正子サンプリング手順でh_tを生成し、それをデコードしてx_1:Tを得る。
• 二つのSDE変種（VPとsubVP）を提供し、事前学習、ネットワーク深さ、サンプリングステップの影響をアブレーションで示す。

実験結果

リサーチクエスチョン

• RQ1 SGMsを適切な条件付きスコア形式で実装すれば無条件時系列生成にも効果的に適用できるか。
• RQ2 完全再帰的で条件付きの時系列生成の性質を尊重するデノイジングスコア整合目的をどう設計するか。
• RQ3 RNNエンコーダ−デコーダを用いた潜在空間SGMで実データセット上、忠実度と多様性の向上をどの程度達成できるか。
• RQ4 VPとsubVPのSDE設定は品質と多様性の観点で時系列生成にどのように寄与するか？
• RQ5 アーキテクチャ選択（例：U-Netの深さ、サンプリングステップ数）が性能と効率に与える影響はどれほどか。

主な発見

Model	Stock Disc.	Stock Pred.	Energy Disc.	Energy Pred.	Air Disc.	Air Pred.	AI4I Disc.	AI4I Pred.	Occupancy Disc.	Occupancy Pred.
TSGM-VP	.022 ± .005	.037?	.221 ± .025	.?	.122 ± .014	.?	.147 ± .005	.?	.402 ± .004	.?
TSGM-subVP	.021 ± .008	.?	.198 ± .025	.?	.127 ± .010	.?	.150 ± .010	.?	.414 ± .008	.?
TimeGAN	.102 ± .031	.238 ± .?	.236 ± .012	.?	.447 ± .017	.?	.070 ± .009	.?	.365 ± .014	.?
RCGAN	.196 ± .027	.292 ± .005	.336 ± .017	.?	.459 ± .104	.?	.234 ± .015	.?	.485 ± .001	.?
C-RNN-GAN	.399 ± .028	.483 ± .005	.499 ± .001	.?	.499 ± .000	.?	.499 ± .001	.?	.467 ± .009	.?
TimeVAE	.175 ± .031	.268 ± .004	.498 ± .006	.?	.381 ± .037	.?	.446 ± .024	.?	.415 ± .050	.?
WaveGAN	.217 ± .022	.307 ± .007	.363 ± .012	.?	.491 ± .013	.?	.481 ± .034	.?	.309 ± .039	.?
COT-GAN	.285 ± .030	.498 ± .000	.498 ± .000	.?	.423 ± .001	.?	.411 ± .018	.?	.443 ± .014	.?
Original Disc	.036 ± .001	.250 ± .003	.004 ± .000	.217 ± .000	.019 ± .000	.?	.?	?	?

• TSGMは五つの実データセット・十の評価シナリオで最先端の結果を達成し、生成品質と多様性が優れている。
• TSGMは判別・予測スコアの点でTimeGANやTimeVAEを含む八つの強力なベースラインを概して上回り、いくつかのデータセットで元データの予測性能に近い。
• 全再帰的時系列設定に特化した新規デノイジングスコア整合形式が正しく効果的な訓練目的（定理1）を提供。
• t-SNE視覚化により、ベースラインと比較してTSGMは多様性が高く元データの再現性が高いことが示される。
• アブレーションと感度解析は、事前学習の重要性、U-Net深さの影響、サンプリングステップ数が性能と効率に与える影響を示す。