[論文レビュー] Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting

Marcel Kollovieh, Abdul Fatir Ansari+4 more|arXiv (Cornell University)|Jul 21, 2023

Computational Physics and Python Applications被引用数 12

ひとこと要約

この論文は、推論時に自己ガイダンスで条件付け可能な無条件拡散モデル TSDiff を導入します。これは、訓練を変更せずに、予測、基礎予報士の改良、および合成データ生成を実行することができ、複数データセットにおいて競争力のある確率的予測と実用的な改良／合成の利点を示します。

ABSTRACT

Diffusion models have achieved state-of-the-art performance in generative modeling tasks across various domains. Prior works on time series diffusion models have primarily focused on developing conditional models tailored to specific forecasting or imputation tasks. In this work, we explore the potential of task-agnostic, unconditional diffusion models for several time series applications. We propose TSDiff, an unconditionally-trained diffusion model for time series. Our proposed self-guidance mechanism enables conditioning TSDiff for downstream tasks during inference, without requiring auxiliary networks or altering the training procedure. We demonstrate the effectiveness of our method on three different time series tasks: forecasting, refinement, and synthetic data generation. First, we show that TSDiff is competitive with several task-specific conditional forecasting methods (predict). Second, we leverage the learned implicit probability density of TSDiff to iteratively refine the predictions of base forecasters with reduced computational overhead over reverse diffusion (refine). Notably, the generative performance of the model remains intact -- downstream forecasters trained on synthetic samples from TSDiff outperform forecasters that are trained on samples from other state-of-the-art generative time series models, occasionally even outperforming models trained on real data (synthesize).

研究の動機と目的

• 時系列の無条件拡散モデルを、推論時に条件付け可能とする動機づけと実現を行う。
• タスク固有の訓練を伴わずに、観測セルフガイダンスを用いて予測を実行できることを示す。
• モデルの暗黙密度が予測を改良し、下流の予報モデルの高品質な合成データを生成できることを示す。

提案手法

• Lag拡張入力とS4ベースのアーキテクチャを備えた、無条件に訓練された単変量時系列向け拡散モデル TSDiff を提案する。
• Auxiliaryネットワークを用いずに、平均二乗誤差または分位点ベースのガイダンスのいずれかを用いて推論時に TSDiff を条件付けする観測自己ガイダンスを導入する。
• Langevinダイナミクスを用いて、拡散モデルをエネルギー有限 prior として用い、基礎予報士の予測を反復的に改善する改良機構を開発する。
• より高速な改良のために対数尤度を近似する代表的な拡散ステップを定義する。
• TSDiff からの合成サンプルを用いて下流予報士を訓練し、Linear Predictive Score (LPS) によって予測品質を評価する。
• GluonTS の8つの実世界の単変量データセットを用いて、複数の予測シナリオを評価する。

実験結果

リサーチクエスチョン

• RQ1 無条件拡散モデルを推論時に条件付けすることで、タスク固有の条件付きモデルと競合する確率的予測を実現できるか。
• RQ2 観測自己ガイダンスは、条件訓練なしで任意の条件付き予測タスクを実現できるか。
• RQ3 TSDiff の学習された暗黙密度は、基礎予報士を改良し予測を改善できるか。
• RQ4 TSDiff 由来の合成サンプルは、実データで訓練されたモデルを凌駕する可能性のある下流予報士の訓練に有効か。

主な発見

手法	Solar	Electricity	Traffic	Exchange	M4	UberTLC	KDDCup	Wikipedia
Seasonal Naive	0.512 b1 0.000	0.069 b1 0.000	0.221 b1 0.000	0.011 b1 0.000	0.048 b1 0.000	0.299 b1 0.000	0.561 b1 0.000	0.410 b1 0.000
ARIMA	0.545 b1 0.006	-	-	0.008 b1 0.000	0.044 b1 0.001	0.284 b1 0.001	0.547 b1 0.003	-
ETS	0.611 b1 0.040	0.072 b1 0.004	0.433 b1 0.050	0.008 b1 0.000	0.042 b1 0.001	0.422 b1 0.001	0.753 b1 0.008	0.715 b1 0.002
Linear	0.569 b1 0.021	0.088 b1 0.008	0.179 b1 0.003	0.011 b1 0.001	0.039 b1 0.001	0.360 b1 0.023	0.513 b1 0.011	1.624 b1 1.114
DeepAR	0.389 b1 0.001	0.054 b1 0.000	0.099 b1 0.001	0.011 b1 0.003	0.052 b1 0.006	0.161 b1 0.002	0.414 b1 0.027	0.231 b1 0.008
MQ-CNN	0.790 b1 0.063	0.067 b1 0.001	-	0.019 b1 0.006	0.046 b1 0.003	0.436 b1 0.020	0.516 b1 0.012	0.220 b1 0.001
DeepState	0.379 b1 0.002	0.075 b1 0.004	0.146 b1 0.018	0.011 b1 0.001	0.041 b1 0.002	0.288 b1 0.087	-	0.318 b1 0.019
Transformer	0.419 b1 0.008	0.076 b1 0.018	0.102 b1 0.002	0.010 b1 0.000	0.040 b1 0.014	0.192 b1 0.004	0.411 b1 0.021	0.214 b1 0.001
CSDI	0.352 b1 0.005	0.054 b1 0.000	0.159 b1 0.002	0.033 b1 0.014	0.040 b1 0.003	0.206 b1 0.002	0.318 b1 0.002	0.289 b1 0.017
TSDiff-Cond	0.338 b1 0.014	0.050 b1 0.002	0.094 b1 0.003	0.013 b1 0.002	0.039 b1 0.006	0.172 b1 0.008	0.754 b1 0.007	0.218 b1 0.010
TSDiff-MS	0.391 b1 0.003	0.062 b1 0.001	0.116 b1 0.001	0.018 b1 0.003	0.045 b1 0.000	0.183 b1 0.007	0.325 b1 0.028	0.257 b1 0.001
TSDiff-Q	0.358 b1 0.020	0.049 b1 0.000	0.098 b1 0.002	0.011 b1 0.001	0.036 b1 0.001	0.172 b1 0.005	0.311 b1 0.026	0.221 b1 0.001

• TSDiff-Q（分位点ガイダンス）は、最先端の条件付きモデルに対して競争力のある CRPS を達成し、複数のデータセットで最良または二番目に良い結果をしばしば示す。
• 平均二乗誤差または分位点ガイダンスのいずれかを用いた観測自己ガイダンスは、タスク固有の訓練なしで確率的予測を生み出すことができる。
• 拡散モデルを prior として用いた改良は、点予測および確率的予測の両方で CRPS を改善し、点予測ではMLベースの手法よりエネルギーベースの手法がしばしば優れている。
• 改良は全逆拡散よりも計算コストが低く、基礎予報士によって利益の大小が異なる。
• TSDiff によって生成された合成データは、下流予報士の訓練で実データで訓練されたモデルを上回る場合がある（Linear Predictive Score による評価）。
• TSDiff は推論時の欠測値に対して頑健で、特化した条件付きモデルと競合する。