[논문 리뷰] Multi-resolution Time-Series Transformer for Long-term Forecasting

Yitian Zhang, Liheng Ma외 3명|arXiv (Cornell University)|2023. 11. 07.

Time Series Analysis and Forecasting인용 수 18

한 줄 요약

MTST는 상대 위치 인코딩을 갖춘 다중 가지치기, 다중 해상도 패치 기반 트랜스포머를 도입하여 장기 다변량 예측의 다양한 시간 패턴을 모델링하고, 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

The performance of transformers for time-series forecasting has improved significantly. Recent architectures learn complex temporal patterns by segmenting a time-series into patches and using the patches as tokens. The patch size controls the ability of transformers to learn the temporal patterns at different frequencies: shorter patches are effective for learning localized, high-frequency patterns, whereas mining long-term seasonalities and trends requires longer patches. Inspired by this observation, we propose a novel framework, Multi-resolution Time-Series Transformer (MTST), which consists of a multi-branch architecture for simultaneous modeling of diverse temporal patterns at different resolutions. In contrast to many existing time-series transformers, we employ relative positional encoding, which is better suited for extracting periodic components at different scales. Extensive experiments on several real-world datasets demonstrate the effectiveness of MTST in comparison to state-of-the-art forecasting techniques.

연구 동기 및 목표

• 장기간 예측에서 다 스케일 시간 패턴을 모델링해야 하는 필요성 제기.
• 다양한 주파수를 포착하기 위해 서로 다른 패치 크기를 사용하는 다중 분기 MTST 제안.
• 주기 성분을 더 잘 포착하기 위해 상대 위치 인코딩 채택.
• 여러 실제 데이터셋에서 우수한 예측 성능 시연 및 설계 선택을 정당화하는 비제약(ablations) 제시

제안 방법

• 다른 패치 크기로 입력을 토큰화하는 서로 다른 분기를 가진 N개의 계층으로 MTST 구축.
• 각 분기에서 상대 위치 인코딩이 있는 자기 주의로 처리되는 패치 수준 토큰 사용.
• 다음 계층을 위한 공유 임베딩을 형성하기 위해 MTST 계층에서 분기 표현을 융합.
• 채널 독립성으로 각 시계열 채널을 독립적으로 처리하고, 크로스 채널 의존성으로 확장 가능성 제시.
• Adam으로 MSE를 최소화하도록 학습; 입력에 인스턴스 정규화 적용 및 출력에 역정규화 적용

실험 결과

연구 질문

• RQ1 다중 해상도 다중 분기 트랜스포머가 단일 해상도 패치 기반 모델보다 장기 예측을 개선하는가?
• RQ2 MTST에서 상대 위치 인코딩과 절대 위치 인코딩의 차이는 어떤 영향을 미치는가?
• RQ3 고해상도/저해상도 분기를 포함하거나 제외하는 ablations가 성능에 어떤 영향을 미치는가?
• RQ4 MTST가 다양한 실제 데이터셋과 예측 시점에서 최첨단 대조군과 비교하여 어떤 성능을 보이는가?

주요 결과

데이터셋	T	MTST_MSE	MTST_MAE	PatchTST_MSE	PatchTST_MAE	DLinear_MSE	DLinear_MAE	MICN_MSE	MICN_MAE	TimesNet_MSE	TimesNet_MAE	Fedformer_MSE	Fedformer_MAE	Autoformer_MSE	Autoformer_MAE	Pyraformer_MSE	Pyraformer_MAE
Traffic	96	0.356	0.244	0.367	0.251	0.410	0.282	0.473	0.293	0.595	0.318	0.576	0.359	0.597	0.371	2.085	0.468
Traffic	192	0.375	0.251	0.385	0.259	0.423	0.287	0.483	0.298	0.615	0.326	0.610	0.380	0.607	0.382	0.867	0.467
Traffic	336	0.386	0.256	0.398	0.265	0.436	0.296	0.491	0.303	0.616	0.326	0.608	0.375	0.623	0.387	0.869	0.469
Traffic	720	0.425	0.279	0.434	0.287	0.466	0.315	0.559	0.327	0.655	0.353	0.621	0.375	0.639	0.395	0.881	0.473
Electricity	96	0.127	0.222	0.130	0.222	0.140	0.237	0.157	0.266	0.178	0.284	0.186	0.302	0.196	0.313	0.386	0.449
Electricity	192	0.144	0.238	0.148	0.240	0.153	0.249	0.175	0.287	0.187	0.289	0.197	0.311	0.211	0.324	0.386	0.443
Electricity	336	0.162	0.256	0.167	0.261	0.169	0.267	0.200	0.308	0.208	0.307	0.213	0.328	0.214	0.327	0.378	0.443
Electricity	720	0.199	0.289	0.202	0.291	0.203	0.301	0.228	0.338	0.245	0.321	0.233	0.344	0.236	0.342	0.376	0.445
Weather	96	0.150	0.199	0.152	0.199	0.176	0.237	0.178	0.249	0.163	0.219	0.238	0.314	0.249	0.329	0.896	0.556
Weather	192	0.194	0.240	0.197	0.243	0.211	0.269	0.243	0.269	0.211	0.259	0.275	0.329	0.325	0.370	0.622	0.624
Weather	336	0.246	0.281	0.249	0.283	0.265	0.319	0.278	0.338	0.286	0.311	0.339	0.377	0.351	0.391	0.739	0.753
Weather	720	0.319	0.333	0.320	0.335	0.323	0.362	0.320	0.360	0.359	0.363	0.389	0.409	0.415	0.426	1.004	0.934
ETTh1	96	0.358	0.390	0.375	0.399	0.375	0.399	0.413	0.442	0.421	0.440	0.376	0.415	0.435	0.446	0.664	0.612
ETTh1	192	0.396	0.414	0.414	0.421	0.405	0.416	0.451	0.462	0.511	0.498	0.423	0.446	0.456	0.457	0.790	0.681
ETTh1	336	0.391	0.420	0.431	0.436	0.439	0.443	0.556	0.528	0.484	0.478	0.444	0.462	0.486	0.487	0.891	0.738
ETTh1	720	0.430	0.457	0.449	0.466	0.472	0.490	0.658	0.607	0.554	0.527	0.469	0.492	0.515	0.517	0.963	0.782
ETTh2	96	0.257	0.326	0.274	0.336	0.289	0.353	0.303	0.364	0.366	0.417	0.332	0.374	0.332	0.368	0.645	0.597
ETTh2	192	0.309	0.361	0.339	0.379	0.383	0.418	0.403	0.446	0.426	0.447	0.407	0.446	0.426	0.434	0.788	0.683
ETTh2	336	0.302	0.366	0.331	0.380	0.448	0.465	0.603	0.550	0.406	0.435	0.400	0.447	0.477	0.479	0.907	0.747
ETTh2	720	0.372	0.416	0.379	0.422	0.605	0.551	1.106	0.852	0.427	0.457	0.412	0.469	0.453	0.490	0.963	0.783
ETTm1	96	0.286	0.338	0.290	0.342	0.299	0.343	0.308	0.360	0.356	0.385	0.326	0.390	0.510	0.492	0.543	0.510
ETTm1	192	0.327	0.366	0.332	0.369	0.335	0.365	0.343	0.384	0.452	0.428	0.365	0.415	0.514	0.495	0.557	0.537
ETTm1	336	0.362	0.389	0.366	0.392	0.369	0.386	0.395	0.411	0.419	0.425	0.392	0.425	0.510	0.492	0.754	0.655
ETTm1	720	0.414	0.421	0.420	0.424	0.425	0.421	0.427	0.434	0.452	0.451	0.446	0.458	0.527	0.493	0.908	0.724
ETTm2	96	0.162	0.251	0.165	0.255	0.167	0.260	0.169	0.268	0.188	0.276	0.180	0.271	0.205	0.293	0.435	0.507
ETTm2	192	0.220	0.291	0.220	0.292	0.224	0.303	0.247	0.333	0.242	0.310	0.252	0.318	0.278	0.336	0.730	0.673
ETTm2	336	0.272	0.326	0.278	0.329	0.281	0.342	0.290	0.351	0.300	0.346	0.324	0.364	0.343	0.379	1.201	0.845
ETTm2	720	0.358	0.379	0.367	0.385	0.397	0.421	0.417	0.434	0.391	0.403	0.410	0.420	0.414	0.419	3.625	1.451

• MTST는 7개 데이터셋, 4가지 예측 시점, 2개 지표에서 최첨단 성능을 달성한다.
• MTST는 28개 MSE 비교 중 27개에서 PatchTST를 능가하며 통계적으로 유의미한 차이를 보인다.
• 저해상도 또는 고해상도 분기를 제거하면 성능이 저하되어 다중 스케일 모델링의 가치가 입증된다.
• 상대 위치 인코딩은 절대 인코딩에 비해 예측 정확도를 일관되게 향상시킨다.
• Look-back 윈도우 분석 및 질적 시각화는 MTST의 다중 스케일 시간 구조 포착 우위를 확인한다.