[論文レビュー] Multi-resolution Time-Series Transformer for Long-term Forecasting

Yitian Zhang, Liheng Ma+3 more|arXiv (Cornell University)|Nov 7, 2023

Time Series Analysis and Forecasting被引用数 18

ひとこと要約

MTSTは相対位置エンコーディングを備えた多分岐・多解像度のパッチベーストランスフォーマを導入し、多様な時間パターンを長期の多変量予測にモデル化して、ベンチマーク全体で最先端の結果を達成する。

ABSTRACT

The performance of transformers for time-series forecasting has improved significantly. Recent architectures learn complex temporal patterns by segmenting a time-series into patches and using the patches as tokens. The patch size controls the ability of transformers to learn the temporal patterns at different frequencies: shorter patches are effective for learning localized, high-frequency patterns, whereas mining long-term seasonalities and trends requires longer patches. Inspired by this observation, we propose a novel framework, Multi-resolution Time-Series Transformer (MTST), which consists of a multi-branch architecture for simultaneous modeling of diverse temporal patterns at different resolutions. In contrast to many existing time-series transformers, we employ relative positional encoding, which is better suited for extracting periodic components at different scales. Extensive experiments on several real-world datasets demonstrate the effectiveness of MTST in comparison to state-of-the-art forecasting techniques.

研究の動機と目的

• 長期 horizon 予測におけるマルチスケールな時間パターンをモデル化する必要性を動機づける。
• 異なるパッチサイズを用いて多様な周波数を捉える多分岐MTSTを提案する。
• 周期成分をよりよく捉えるために相対位置エンコーディングを採用する。
• 複数の実世界データセットで優れた予測性能を示し、設計選択を正当化するアブレーションを提供する。

提案手法

• N層からなるMTSTを構築し、それぞれの層に異なるパッチサイズで入力をトークン化するB_nブランチを含む。
• 各ブランチで相対位置エンコーディングを用いた自己注意でパッチレベルのトークンを処理する。
• 各MTST層でブランチ表現を融合して次の層への共有埋め込みを形成する。
• 各時系列チャネルを独立に処理（チャネル独立性）し、跨チャネル依存性へ拡張可能。
• AdamでMSEを最小化するよう訓練し、入力にはインスタンス正規化を適用し出力にはデノーマライズを行う。

実験結果

リサーチクエスチョン

• RQ1 多解像度・多分岐のトランスフォーマは、単一解像度のパッチベースモデルより長期予測を改善するか。
• RQ2 MTSTにおける相対位置エンコーディングと絶対位置エンコーディングの影響はどうか。
• RQ3 高解像度/低解像度ブランチの包含または排除に関するアブレーションはパフォーマンスにどのように影響するか。
• RQ4 MTSTは様々な実世界データセットと horizon において、最先端ベースラインと比較してどのような performance を示すか。

主な発見

Dataset	T	MTST_MSE	MTST_MAE	PatchTST_MSE	PatchTST_MAE	DLinear_MSE	DLinear_MAE	MICN_MSE	MICN_MAE	TimesNet_MSE	TimesNet_MAE	Fedformer_MSE	Fedformer_MAE	Autoformer_MSE	Autoformer_MAE	Pyraformer_MSE	Pyraformer_MAE
Traffic	96	0.356	0.244	0.367	0.251	0.410	0.282	0.473	0.293	0.595	0.318	0.576	0.359	0.597	0.371	2.085	0.468
Traffic	192	0.375	0.251	0.385	0.259	0.423	0.287	0.483	0.298	0.615	0.326	0.610	0.380	0.607	0.382	0.867	0.467
Traffic	336	0.386	0.256	0.398	0.265	0.436	0.296	0.491	0.303	0.616	0.326	0.608	0.375	0.623	0.387	0.869	0.469
Traffic	720	0.425	0.279	0.434	0.287	0.466	0.315	0.559	0.327	0.655	0.353	0.621	0.375	0.639	0.395	0.881	0.473
Electricity	96	0.127	0.222	0.130	0.222	0.140	0.237	0.157	0.266	0.178	0.284	0.186	0.302	0.196	0.313	0.386	0.449
Electricity	192	0.144	0.238	0.148	0.240	0.153	0.249	0.175	0.287	0.187	0.289	0.197	0.311	0.211	0.324	0.386	0.443
Electricity	336	0.162	0.256	0.167	0.261	0.169	0.267	0.200	0.308	0.208	0.307	0.213	0.328	0.214	0.327	0.378	0.443
Electricity	720	0.199	0.289	0.202	0.291	0.203	0.301	0.228	0.338	0.245	0.321	0.233	0.344	0.236	0.342	0.376	0.445
Weather	96	0.150	0.199	0.152	0.199	0.176	0.237	0.178	0.249	0.163	0.219	0.238	0.314	0.249	0.329	0.896	0.556
Weather	192	0.194	0.240	0.197	0.243	0.211	0.269	0.243	0.269	0.211	0.259	0.275	0.329	0.325	0.370	0.622	0.624
Weather	336	0.246	0.281	0.249	0.283	0.265	0.319	0.278	0.338	0.286	0.311	0.339	0.377	0.351	0.391	0.739	0.753
Weather	720	0.319	0.333	0.320	0.335	0.323	0.362	0.320	0.360	0.359	0.363	0.389	0.409	0.415	0.426	1.004	0.934
ETTh1	96	0.358	0.390	0.375	0.399	0.375	0.399	0.413	0.442	0.421	0.440	0.376	0.415	0.435	0.446	0.664	0.612
ETTh1	192	0.396	0.414	0.414	0.421	0.405	0.416	0.451	0.462	0.511	0.498	0.423	0.446	0.456	0.457	0.790	0.681
ETTh1	336	0.391	0.420	0.431	0.436	0.439	0.443	0.556	0.528	0.484	0.478	0.444	0.462	0.486	0.487	0.891	0.738
ETTh1	720	0.430	0.457	0.449	0.466	0.472	0.490	0.658	0.607	0.554	0.527	0.469	0.492	0.515	0.517	0.963	0.782
ETTh2	96	0.257	0.326	0.274	0.336	0.289	0.353	0.303	0.364	0.366	0.417	0.332	0.374	0.332	0.368	0.645	0.597
ETTh2	192	0.309	0.361	0.339	0.379	0.383	0.418	0.403	0.446	0.426	0.447	0.407	0.446	0.426	0.434	0.788	0.683
ETTh2	336	0.302	0.366	0.331	0.380	0.448	0.465	0.603	0.550	0.406	0.435	0.400	0.447	0.477	0.479	0.907	0.747
ETTh2	720	0.372	0.416	0.379	0.422	0.605	0.551	1.106	0.852	0.427	0.457	0.412	0.469	0.453	0.490	0.963	0.783
ETTm1	96	0.286	0.338	0.290	0.342	0.299	0.343	0.308	0.360	0.356	0.385	0.326	0.390	0.510	0.492	0.543	0.510
ETTm1	192	0.327	0.366	0.332	0.369	0.335	0.365	0.343	0.384	0.452	0.428	0.365	0.415	0.514	0.495	0.557	0.537
ETTm1	336	0.362	0.389	0.366	0.392	0.369	0.386	0.395	0.411	0.419	0.425	0.392	0.425	0.510	0.492	0.754	0.655
ETTm1	720	0.414	0.421	0.420	0.424	0.425	0.421	0.427	0.434	0.452	0.451	0.446	0.458	0.527	0.493	0.908	0.724
ETTm2	96	0.162	0.251	0.165	0.255	0.167	0.260	0.169	0.268	0.188	0.276	0.180	0.271	0.205	0.293	0.435	0.507
ETTm2	192	0.220	0.291	0.220	0.292	0.224	0.303	0.247	0.333	0.242	0.310	0.252	0.318	0.278	0.336	0.730	0.673
ETTm2	336	0.272	0.326	0.278	0.329	0.281	0.342	0.290	0.351	0.300	0.346	0.324	0.364	0.343	0.379	1.201	0.845
ETTm2	720	0.358	0.379	0.367	0.385	0.397	0.421	0.417	0.434	0.391	0.403	0.410	0.420	0.414	0.419	3.625	1.451

• MTSTは7データセット、4つの horizon、および2つの指標で最先端の性能を達成。
• MTSTは28回中27回のMSE比較でPatchTSTを上回り、統計的有意性を示した。
• 低解像度ブランチまたは高解像度ブランチのいずれかを削除すると性能が低下することがアブレーションから示され、マルチスケールモデリングの正当性を支持。
• 相対位置エンコーディングは絶対エンコーディングよりも一貫して予測精度を向上させる。
• 見返しウィンドウ分析と定性的ビジュアルは、MTSTがマルチスケールの時間構造を捉える利点を裏付ける。