[論文レビュー] Non-autoregressive Conditional Diffusion Models for Time Series Prediction

Lifeng Shen, James T. Kwok|arXiv (Cornell University)|Jun 8, 2023

Music and Audio Processing被引用数 14

ひとこと要約

TimeDiffは、将来混合と自己回帰初期化を用いてデノイザーを条件付けする時系列予測の非自己回帰拡散モデルであり、長期予測において既存の拡散モデルとベースラインを上回る。9つの実世界データセットにおいてTimeGrad、CSDI、SSSD、D3VAEを一貫して上回る。

ABSTRACT

Recently, denoising diffusion models have led to significant breakthroughs in the generation of images, audio and text. However, it is still an open question on how to adapt their strong modeling ability to model time series. In this paper, we propose TimeDiff, a non-autoregressive diffusion model that achieves high-quality time series prediction with the introduction of two novel conditioning mechanisms: future mixup and autoregressive initialization. Similar to teacher forcing, future mixup allows parts of the ground-truth future predictions for conditioning, while autoregressive initialization helps better initialize the model with basic time series patterns such as short-term trends. Extensive experiments are performed on nine real-world datasets. Results show that TimeDiff consistently outperforms existing time series diffusion models, and also achieves the best overall performance across a variety of the existing strong baselines (including transformers and FiLM).

研究の動機と目的

• 拡散モデルを時系列予測へ適用する際の課題、特に長距離予測と非定常性の課題を動機づけ、対処する。
• 時系列向けの条件付け機構を備えたTimeDiffを導入し、デノイングのガイダンスを改善する。
• TimeDiffの予測性能が既存の拡散モデルや堅固なベースラインを複数の実世界データセットで上回ることを実証する。
• 将来のミックスアップとAR初期化の有効性を正当化するアブレーションを示す。

提案手法

• 前向き拡散過程を将来の時間窓 x1:H^0 に対して標準的な DDPM 形式で使用。
• デノイングステップで conditioning c を2つの成分: future mixup z_mix と autoregressive initialization z_ar によって導入。
• Future mixup は訓練時に過去の条件と真の未来をブレンドする(推論時には過去の条件のみ使用)。
• Autoregressive initialization は pretrained linear AR model による初期粗い予測 z_ar を提供し、境界の不整合を削減。
• Denoising network x_theta は diffusion-step embedding p^k と入力 x1:H^k を結合し、条件 c と融合して x1:H^{k-1} を予測する（非自己回帰デノイジング）。
• デノイズ出力に条件付きL2損失で訓練する。推論は x1:H^K ~ N(0,I) から x1:H^0 へ反復デノイズを進める。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰拡散モデルは長期時系列予測で競合できるか？
• RQ2 時系列向けの条件付け機構（将来ミックスアップとAR初期化）は長距離予測を改善し、境界の不整合を減らすか？
• RQ3 TimeDiffは自動回帰拡散モデルおよび非自己回帰ベースラインと比較して、多様な実世界データセットでどうか？

主な発見

データセット	TimeDiff MSE	TimeGrad MSE	CSDI MSE	SSSD MSE	D3VAE MSE	FiLM MSE	Depts MSE	NBeats MSE	PatchTST MSE	FedFormer MSE	Autoformer MSE	Pyraformer MSE	Informer MSE	Transformer MSE	DLinear MSE	LSTMa MSE	avg rank
NorPool	0.636 (2)	1.129 (15)	0.967 (14)	1.145 (16)	0.964 (13)	0.707 (5)	0.668 (3)	0.964 (6)	0.595 (1)	0.891 (9)	0.946 (12)	0.933 (11)	0.804 (7)	0.928 (10)	0.671 (4)	1.481 (16)	2.7
Caiso	0.122 (3)	0.325 (15)	0.192 (9)	0.176 (7)	0.521 (16)	0.185 (8)	0.107 (1)	0.125 (4)	0.193 (10)	0.164 (5)	0.248 (11)	0.165 (6)	0.250 (12.5)	0.250 (12.5)	0.461 (16)	0.217 (9)	11.6
Weather	0.002 (2)	0.002 (2)	0.002 (2)	0.004 (6)	0.003 (4)	0.007 (10)	0.024 (13)	0.168 (15)	0.026 (14)	0.005 (7)	0.003 (4.5)	0.020 (12)	0.007 (10)	0.007 (10)	0.168 (16)	0.662 (13)	10.8
ETTm1	0.040 (2)	0.048 (6)	0.050 (10)	0.049 (8.5)	0.044 (4)	0.038 (1)	0.380 (5)	0.344 (6)	0.372 (5)	0.426 (8)	0.565 (12)	0.493 (10)	0.673 (13)	0.992 (15)	0.345 (2)	1.030 (16)	1.7
Wind	2.407 (9)	2.530 (12)	2.434 (10.5)	3.149 (15)	2.679 (13)	2.143 (1)	1.082 (8)	1.188 (13)	1.070 (7)	1.113 (10)	1.083 (9)	1.061 (4)	1.168 (12)	1.201 (14)	0.899 (2)	1.464 (16)	13.9
Traffic	0.121 (1)	1.223 (16)	0.393 (13)	0.151 (6)	0.151 (6)	0.198 (10)	1.019 (14)	0.642 (6)	0.831 (11)	0.591 (4)	0.688 (10)	0.659 (7)	0.664 (8)	0.671 (9)	0.389 (2)	0.966 (13)	7.7
Electricity	0.232 (1)	0.920 (16)	0.520 (12)	0.370 (14)	0.535 (13)	0.260 (3)	0.319 (12)	0.286 (10)	0.225 (5)	0.238 (6)	0.201 (2)	0.273 (9)	0.298 (11)	0.328 (13)	0.244 (4)	0.414 (14)	4.8
ETTh1	0.066 (1)	0.078 (8)	0.083 (11)	0.097 (14)	0.078 (8)	0.070 (2)	0.579 (9)	0.504 (5)	0.526 (7)	0.541 (8)	0.516 (6)	0.579 (9)	0.775 (14)	0.759 (13)	0.415 (2)	1.149 (16)	10.2
Exchange	0.017 (3)	0.078 (8)	0.071 (16)	0.023 (10.5)	0.019 (7)	0.018 (5)	0.020 (4)	0.047 (7)	0.020 (8.5)	0.133 (14)	0.056 (8)	0.073 (11)	0.073 (11)	0.062 (10)	0.244 (2)	0.403 (16)	8.1
avg rank	2.7	11.6	10.8	1.7	13.9	3.2	7.7	4.8	7.6	9.0	6.6	9.4	10.9	11.3	5.3	14.2

• TimeDiffは9つの実世界データセットで既存の時系列拡散モデル（TimeGrad, CSDI, SSSD, D3VAE）を一貫して上回る。
• TimeDiffはベースラインの中で最高の総合性能を達成—最先端の時系列トランスフォーマーとFiLMベースモデルを含む。
• 将来のミックスアップとAR初期化は長距離予測の条件付け効果を大幅に改善（アブレーションで両成分の効果を示す）。
• TimeDiffは accelerated samplers 使用時の推論で効率的で denoising ステップを 20 未満に削減（例: DPM-Solver）。
• 多変量の結果、TimeDiff は diverse datasets で強力な MSE を達成、平均順位も有利。
• 自動回帰拡散法と比較して、TimeDiff は誤差蓄積と遅い推論を回避しつつ高精度を維持。