[論文レビュー] Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

Kashif Rasul, Calvin Seward+2 more|arXiv (Cornell University)|Jan 28, 2021

Time Series Analysis and Forecasting参考文献 42被引用数 43

ひとこと要約

TimeGrad は未来分布を各ステップでサンプルする自己回帰的拡散確率モデルで、六つの実世界データセットにおいて確率予測を最先端に達成しています。

ABSTRACT

In this work, we propose \texttt{TimeGrad}, an autoregressive model for multivariate probabilistic time series forecasting which samples from the data distribution at each time step by estimating its gradient. To this end, we use diffusion probabilistic models, a class of latent variable models closely connected to score matching and energy-based methods. Our model learns gradients by optimizing a variational bound on the data likelihood and at inference time converts white noise into a sample of the distribution of interest through a Markov chain using Langevin sampling. We demonstrate experimentally that the proposed autoregressive denoising diffusion model is the new state-of-the-art multivariate probabilistic forecasting method on real-world data sets with thousands of correlated dimensions. We hope that this method is a useful tool for practitioners and lays the foundation for future research in this area.

研究の動機と目的

• correlated time series の相関を考慮した多変量確率予測の動機付けと高次元での tractable likelihood の制限への対処。
• TimeGrad を提案、過去データと共変量に条件付けられた各ステップ分布を拡散過程でモデル化する自己回帰エネルギーベースモデル。
• 履歴をエンコードし、拡散ベースの放出モデルを条件付けする RNN（LSTM/GRU）を活用。
• データ尤度の変分境界で訓練し、未来の軌跡をサンプルする際に Langevin ダイナミクスを使用。
• 六つの実世界データセットで数千次元の多様な baselines と比較して TimeGrad を評価する。

提案手法

• 次時点分布の対数密度の勾配を学習する拡散確率モデルの採用。
• 多変量の条件付き分布を自己回帰型 RNN 条件付き拡散モデルとして分解。
• 真のノイズと予測ノイズの間の加重二乗誤差へ簡約される変分境界による訓練（RNN 隠 state に条件付け）。
• 白色ノイズから未来の時刻を生成する Langevin 類のアニーリングサンプリング。
• 文脈ウィンドウ平均で時系列を正規化して訓練を安定化し、時系列依存・非依存の特徴のための共変量埋め込みを適用。
• 拡散ステップ下でノイズ予測子 εθ をパラメータ化する残差拡張畳み込みネットワーク。

実験結果

リサーチクエスチョン

• RQ1 TimeGrad は過去と共変量を与えた場合の未来のマルチ変量時刻の全条件分布を正確にモデル化し、サンプルすることができるか？
• RQ2 TimeGrad は多様な実世界データセットにわたって最先端の多変量確率予測手法と比較してどうか？
• RQ3 拡散長さ N が予測精度とサンプリング効率に与える影響は何か？
• RQ4 文脈ウィンドウ平均で正規化することは予測性能と安定性を改善するか？
• RQ5 TimeGrad は数千次元の高次元時系列を扱えるか？

主な発見

手法	交換	太陽光	電力	交通	タクシー	ウィキペディア
TimeGrad	0.006 ± 0.001	0.287 ± 0.020	0.0206 ± 0.001	0.044 ± 0.006	0.114 ± 0.020	0.0485 ± 0.002
VAR	0.005 ± 0.000	0.83 ± 0.006	0.039 ± 0.0005	0.29 ± 0.005	-	-
GP Copula	0.007 ± 0.000	0.337 ± 0.024	0.0245 ± 0.002	0.078 ± 0.002	0.208 ± 0.183	0.086 ± 0.004
Transformer MAF	0.005 ± 0.003	0.301 ± 0.014	0.0207 ± 0.000	0.056 ± 0.001	0.179 ± 0.002	0.063 ± 0.003

• TimeGrad はほとんどのデータセットで最先端の CRPSsum を達成し、古典的および深層学習ベースラインを上回る。
• 六つの実世界データセットにおいて、TimeGrad は表形式の結果で競合手法より一貫して低い CRPSsum を達成。
• アブレーション研究により拡散長さ N を約 10 に短縮しても劣化が最小で、電力データでは最適は N≈100。
• TimeGrad は高次元で相関の強い時系列（千次元）を効果的にモデリング。
• モデルの自己回帰拡散アプローチは複数の軌跡サンプル（例: S=100）を通じた堅牢な不確実性定量化を提供。