[論文レビュー] Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

Kashif Rasul, Calvin Seward+2 more|arXiv (Cornell University)|Jan 28, 2021

Time Series Analysis and Forecasting被引用数 53

ひとこと要約

TimeGradは、各ステップでデータ分布からサンプルを得る多変量確率時系列予測の自己回帰拡散モデルであり、6つの実世界データセットでCRPS_sumの最先端を達成します。

ABSTRACT

In this work, we propose \\texttt{TimeGrad}, an autoregressive model for\nmultivariate probabilistic time series forecasting which samples from the data\ndistribution at each time step by estimating its gradient. To this end, we use\ndiffusion probabilistic models, a class of latent variable models closely\nconnected to score matching and energy-based methods. Our model learns\ngradients by optimizing a variational bound on the data likelihood and at\ninference time converts white noise into a sample of the distribution of\ninterest through a Markov chain using Langevin sampling. We demonstrate\nexperimentally that the proposed autoregressive denoising diffusion model is\nthe new state-of-the-art multivariate probabilistic forecasting method on\nreal-world data sets with thousands of correlated dimensions. We hope that this\nmethod is a useful tool for practitioners and lays the foundation for future\nresearch in this area.\n

研究の動機と目的

• 多くの時間系列次元にわたる依存関係を捉えるための多変量確率予測を動機づける。
• 拡散プロセスを用いた自己回帰エネルギーベースモデル（EBM）を開発し、各ステップの分布をモデル化する。
• Langevinダイナミクスと過去状態の自己回帰条件付けを用いて予測分布からサンプリングを可能にする。
• TimeGradを大規模な実世界データセット上で多様なベースラインと比較して、確率的予測の改善を示す。

提案手法

• 拡散確率モデルを用いて各時間ステップの放出の対数密度の勾配を学習する。
• 拡散ベースの放出モデルを過去の観測と共変量をエンコードする自己回帰RNN（LSTM/GRU）状態に条件付けする。
• 予測ノイズ（ε_θ）に対する二乗誤差目的に縮約する変分下界で訓練し、スコアベースモデルに類似する。
• アニーリングされたLangevinダイナミクスを介して未来のステップをサンプリングし予測軌道を生成する。
• 学習と推論を安定化させるためにコンテキストウィンドウの平均で時系列を正規化する。
• カテゴリカルおよび連続的な共変量埋め込みを組み込んで条件付け情報を豊富にする。

実験結果

リサーチクエスチョン

• RQ1 TimeGradは高次元の多変量時系列において未来の時点の完全条件付き分布をモデル化できるか？
• RQ2 自己回帰拡散ベースのアプローチは確率的予測タスクでVAR、VAR-Lasso、GARCH、KVAE、Vec-LSTM変種、 TransformerベースのMAF手法とどう比較されるか？
• RQ3 拡散長さ（N）が予測性能に与える影響はどの程度で、TimeGradはデータセットのサイズと次元数にどのようにスケールするか？
• RQ4 共変量とスケール正規化は確率的予測の品質にどのような役割を果たすか？

主な発見

手法	Exchange	Solar	Electricity	Traffic	Taxi	Wikipedia
VES	0.005 ± 0.000	0.90 ± 0.003	0.88 ± 0.0035	0.35 ± 0.0023	-	-
VAR	0.005 ± 0.000	0.83 ± 0.006	0.039 ± 0.0005	0.29 ± 0.005	-	-
VAR-Lasso	0.012 ± 0.0002	0.51 ± 0.006	0.025 ± 0.0002	0.15 ± 0.002	-	3.1 ± 0.004
GARCH	0.023 ± 0.000	0.88 ± 0.002	0.19 ± 0.001	0.37 ± 0.0016	-	-
KVAE	0.014 ± 0.002	0.34 ± 0.025	0.051 ± 0.019	0.10 ± 0.005	-	0.095 ± 0.012
Vec-LSTM ind-scaling	0.008 ± 0.001	0.391 ± 0.017	0.025 ± 0.001	0.087 ± 0.041	0.506 ± 0.005	0.133 ± 0.002
Vec-LSTM lowrank-Copula	0.007 ± 0.000	0.319 ± 0.011	0.064 ± 0.008	0.103 ± 0.006	0.326 ± 0.007	0.241 ± 0.033
GP scaling	0.009 ± 0.000	0.368 ± 0.012	0.022 ± 0.000	0.079 ± 0.000	0.183 ± 0.395	0. -
GP Copula	0.007 ± 0.000	0.337 ± 0.024	0.0245 ± 0.002	0.208 ± 0.183	0. -	0.086 ± 0.004
Transformer MAF	0.005 ± 0.003	0.301 ± 0.014	0.0207 ± 0.000	0.056 ± 0.001	0.179 ± 0.002	0.063 ± 0.003
TimeGrad	0.006 ± 0.001	0.287 ± 0.020	0.0206 ± 0.001	0.044 ± 0.006	0.114 ± 0.020	0.0485 ± 0.002

• TimeGradは多変量確率予測の6つの実世界データセットで最先端の性能を達成し、CRPS_sumで幅広いベースラインを上回る。
• データセット全体でTimeGradはしばしば最良のCRPS_sumスコアを示し、Table 2のTimeGradRowエントリは競争力があるまたは優れている結果を示す。
• アブレーション研究は拡散長Nを約10まで減らしても最小限の損失で済むことを示し、ElectricityではN ≈ 100が最適である。
• TimeGradは非常に高次元の出力（最大963次元のTraffic）でも強力な性能を示す。
• アブレーションは自己回帰条件付けと拡散ベースの放出モデルの恩恵を示しており、訓練時にflowベースの変換を要しないことも含意している。