[論文レビュー] TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

Defu Cao, Furong Jia+5 more|arXiv (Cornell University)|Oct 8, 2023

Time Series Analysis and Forecasting被引用数 35

ひとこと要約

TEMPOは、クロスドメインの時系列予測のためのGPTバックボーンを用いた、プロンプトチューニングと decomposed-trend/seasonality/time-series 表現を導入し、ベンチマークでSOTAを大きく上回る。

ABSTRACT

The past decade has witnessed significant advances in time series modeling with deep learning. While achieving state-of-the-art results, the best-performing architectures vary highly across applications and domains. Meanwhile, for natural language processing, the Generative Pre-trained Transformer (GPT) has demonstrated impressive performance via training one general-purpose model across various textual datasets. It is intriguing to explore whether GPT-type architectures can be effective for time series, capturing the intrinsic dynamic attributes and leading to significant accuracy improvements. In this paper, we propose a novel framework, TEMPO, that can effectively learn time series representations. We focus on utilizing two essential inductive biases of the time series task for pre-trained models: (i) decomposition of the complex interaction between trend, seasonal and residual components; and (ii) introducing the design of prompts to facilitate distribution adaptation in different types of time series. TEMPO expands the capability for dynamically modeling real-world temporal phenomena from data within diverse domains. Our experiments demonstrate the superior performance of TEMPO over state-of-the-art methods on zero shot setting for a number of time series benchmark datasets. This performance gain is observed not only in scenarios involving previously unseen datasets but also in scenarios with multi-modal inputs. This compelling finding highlights TEMPO's potential to constitute a foundational model-building framework.

研究の動機と目的

• 時系列予測に対して基盤モデルのようなアプローチの採用を動機付け、ドメイン間およびモダリティ間の一般化を改善する。
• 加法的分解（トレンド、季節性、残差）を活用して表現学習を導き、解釈可能性を向上させる。
• プロンプトプールを導入して非定常分布へ適応し、時系列タスク間での知識伝達を促進する。
• TEMPOを時系列の基盤モデルとしての可能性を示すべく、複数のベンチマークと未知ドメインで予測精度の改善を示す。

提案手法

• 入力時系列をSTL分解によってトレンド・季節性・残差成分に分解する。
• 各成分を時系列トークンとして表現し、GPTベースのバックボーンに入力する。
• 学習可能なプロンプトの共有プールを用いて、入力との類似度に基づくTop-Kプロンプトを取得し、適応的な知識リコールを可能にする。
• 分解された成分予測を加法的に結合して最終予測を形成する。
• 各成分に対してインスタンス正規化を適用し、効率的なドメイン適応のためにLoRAを使用する。

実験結果

リサーチクエスチョン

• RQ1 分解されたトレンド、季節性、残差を入力として与えた場合、 diverseデータで事前学習されたGPT風のトランスフォーマーは時系列を効果的に予測できるか。
• RQ2 リトリーバルベースのプロンプトプールは、ドメイン間の非定常性・分布シフトへの頑健性を向上させるか。
• RQ3 時系列を分解し、GAMのような解釈可能性フレームワークを用いて、予測出力におけるトレンド、季節性、残差の相互作用を理解するのに役立つか。
• RQ4 TEMPOは未見ドメインやマルチモーダル/マルチ変量入力に対して、既存ベースラインと比較してどれだけ一般化できるか。

主な発見

Horizon	Models	Weather (MSE/MAE)	ETTh1 (MSE/MAE)	ETTh2 (MSE/MAE)	ETTm1 (MSE/MAE)	ETTm2 (MSE/MAE)	ECL (MSE/MAE)	Traffic (MSE/MAE)
96	TEMPO	0.008 / 0.048	0.201 / 0.268	0.173 / 0.235	0.015 / 0.083	0.010 / 0.066	0.085 / 0.166	0.217 / 0.213
96	GPT4TS	0.162/0.212	0.376/0.397	0.285/0.342	0.292/0.346	0.173/0.262	0.139/0.238	0.388/0.282
96	T5	0.152/0.201	0.411/0.425	0.330/0.383	0.291/0.346	0.186/0.277	0.123/0.224	0.365/0.252
96	Bert	0.150/0.197	0.459/0.443	0.377/0.404	0.291/0.344	0.177/0.263	0.130/0.222	0.366/0.253
96	FEDformer	0.217/0.296	0.376/0.419	0.358/0.397	0.379/0.419	0.203/0.287	0.193/0.308	0.587/0.366
96	Autoformer	0.266/0.336	0.449/0.459	0.346/0.388	0.505/0.475	0.255/0.339	0.201/0.317	0.613/0.388
96	Informer	0.300/0.384	0.865/0.713	3.755/1.525	0.672/0.571	0.365/0.453	0.274/0.368	0.719/0.391
96	PatchTST	0.149/0.198	0.370/0.399	0.274/0.336	0.290/0.342	0.165/0.255	0.129/0.222	0.360/0.249
96	Reformer	0.689/0.596	0.837/0.728	2.626/1.317	0.538/0.528	0.658/0.619	0.312/0.402	0.732/0.423
96	LightTS	0.182/0.242	0.424/0.432	0.397/0.437	0.374/0.400	0.209/0.308	0.207/0.307	0.615/0.391
96	DLinear	0.176/0.237	0.375/0.399	0.289/0.353	0.299/0.343	0.167/0.269	0.140/0.237	0.410/0.282
96	TimesNet	0.172/0.220	0.384/0.402	0.340/0.374	0.338/0.375	0.187/0.267	0.168/0.272	0.593/0.321
96	Non-Stat.	0.173/0.223	0.513/0.491	0.476/0.458	0.386/0.398	0.192/0.274	0.169/0.273	0.612/0.338
96	ETSformer	0.197/0.281	0.494/0.479	0.340/0.391	0.375/0.398	0.189/0.280	0.187/0.304	0.607/0.392

• TEMPOは、長期予測のための7つのベンチマークデータセットでSOTAベースラインを上回る。
• 平均して、TEMPOはPatchTSTや他のベースラインに対してMAEおよびMSEの substantialな改善を達成し、例えば96ステップでのMAEは最大62.87%、192ステップで最大35.59%改善。
• TEMPOは未知データセット上で平均MAE改善約30.8%のクロスドメイン事前学習の利点を示す。
• 新しいマルチモーダル時系列データセット（TETS）は、マルチモーダル入力でのSMAPE改善を顕著に示す。
• 未見ドメインおよび少数ショット設定でも堅牢な性能を維持しており、時系列の基盤モデルとしての潜在性を示す。