[論文レビュー] ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models

Tijin Yan, Hongwei Zhang+3 more|arXiv (Cornell University)|Jun 18, 2021

Time Series Analysis and Forecasting参考文献 47被引用数 14

ひとこと要約

ScoreGradは、条件付き確率微分方程式（SDE）とスコアマッチングを活用した、多次元確率的時系列予測のための新しい連続的エネルギーに基づく生成モデルを提案する。数値解法とMCMC補正手法を繰り返し適用することで、逆時系列SDEを解き、柔軟で高性能な予測を実現する。6つの実世界データセットで最先端の性能を達成し、本分野における連続的EBMの初適用を果たした。

ABSTRACT

Multivariate time series prediction has attracted a lot of attention because of its wide applications such as intelligence transportation, AIOps. Generative models have achieved impressive results in time series modeling because they can model data distribution and take noise into consideration. However, many existing works can not be widely used because of the constraints of functional form of generative models or the sensitivity to hyperparameters. In this paper, we propose ScoreGrad, a multivariate probabilistic time series forecasting framework based on continuous energy-based generative models. ScoreGrad is composed of time series feature extraction module and conditional stochastic differential equation based score matching module. The prediction can be achieved by iteratively solving reverse-time SDE. To the best of our knowledge, ScoreGrad is the first continuous energy based generative model used for time series forecasting. Furthermore, ScoreGrad achieves state-of-the-art results on six real-world datasets. The impact of hyperparameters and sampler types on the performance are also explored. Code is available at https://github.com/yantijin/ScoreGradPred.

研究の動機と目的

• 拡散モデルにおけるノイズスケールや固定ステップ数の感度といった、従来の生成モデルの限界を是正すること。
• VAE やノーマライジングフローの制限的な関数形を避ける、一般性と柔軟性に優れた多次元確率的予測フレームワークの開発。
• 連続時刻SDEを介したエンドツーエンドの学習と推論を可能にすることで、ロバストネスとハイパーパrameterの安定性を向上させること。
• 連続的エネルギーに基づくモデルを用いた時系列予測の新しいパラダイムを確立すること。本分野では、これまでは未踏の分野であった。

提案手法

• 深層ニューラルネットワークを用いた時系列特徴抽出モジュールにより、履歴シーケンスを符号化する。
• 連続的時刻SDEを用いてデータ分布のスコア関数を学習するスコアマッチングモジュールを導入し、複雑な依存関係の柔軟なモデリングを可能にする。
• 予測は、オイラー＝マルヤマ法や確率的ルンゲ＝クッタ法などの数値解法を用いて逆時系列SDEを解くことで実行する。
• 予測子・補正子サンプリング戦略を採用：予測子はSDE解法を用いて時系列を逆方向に進める一方、補正子はランジュバンダイナミクスを適用してサンプルを精緻化する。
• SDEにおけるスコアマッチングにより学習を実施し、データ分布に関する期待スコアマッチング損失を最小化する。
• 異なるSDE（VE、VP、sub-VP）を評価し、推論にはアンセストラルサンプリングおよび逆拡散サンプリング手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 連続的エネルギーに基づく生成モデルは、多次元時系列予測において離散的拡散モデルを上回ることができるか？
• RQ2 SDEの選択（VE、VP、sub-VP）が予測性能および学習安定性に与える影響は何か？
• RQ3 異なる数値解法およびサンプリング戦略（例：オイラー＝マルヤマ法 vs. 逆拡散）が予測品質に与える影響は何か？
• RQ4 ノイズスケールやステップサイズなどのハイパーパrameter設定に対して、フレームワークはどれほどロバストか？
• RQ5 提案されたフレームワークは、多様で高次元の実世界時系列データセットに一般化可能か？

主な発見

• ScoreGradは、Electricity、ETTh1、ETTh2、ETTm1、ETTm2、Weatherの6つの実世界多次元時系列データセットで最先端の性能を達成した。
• TimeGradなどの離散的拡散モデルと比較して、特にノイズスケールやステップ数の感度において、顕著なハイパーパrameterチューニングへのロバストネスを示した。
• SDEタイプごとの性能に差が認められた：VEおよびVP SDEは一貫した向上を示したが、sub-VP SDEは類似した学習損失であっても一貫性のない結果を示した。
• 予測子・補正子サンプリング戦略はサンプル品質を顕著に向上させた。特に、ランジュバンダイナミクスを用いた補正子は生成の忠実度を向上させた。
• アンセストラルサンプリングと逆拡散サンプリングは、異なるSDEに対して有効であり、特にsub-VPのようなSDEでは逆拡散が優れた性能を示した。
• フレームワークは汎用的かつ拡張可能であり、アーキテクチャの制限なしにさまざまなSDEおよび数値解法をサポートできる。