[논문 리뷰] FilterNet: Harnessing Frequency Filters for Time Series Forecasting

Kun Yi, Jing Fei외 5명|arXiv (Cornell University)|2024. 11. 03.

Time Series Analysis and Forecasting인용 수 11

한 줄 요약

FilterNet은 주파수 도메인에서 작동하여 학습 가능한 주파수 필터(일반 형성 필터 및 맥락 형성 필터)를 도입하고 시간 시계열을 예측합니다. Transformer- 및 MLP 기반 기준선 대비 여덟 벤치마크에서 더 높은 정확도와 효율성을 달성합니다.

ABSTRACT

While numerous forecasters have been proposed using different network architectures, the Transformer-based models have state-of-the-art performance in time series forecasting. However, forecasters based on Transformers are still suffering from vulnerability to high-frequency signals, efficiency in computation, and bottleneck in full-spectrum utilization, which essentially are the cornerstones for accurately predicting time series with thousands of points. In this paper, we explore a novel perspective of enlightening signal processing for deep time series forecasting. Inspired by the filtering process, we introduce one simple yet effective network, namely FilterNet, built upon our proposed learnable frequency filters to extract key informative temporal patterns by selectively passing or attenuating certain components of time series signals. Concretely, we propose two kinds of learnable filters in the FilterNet: (i) Plain shaping filter, that adopts a universal frequency kernel for signal filtering and temporal modeling; (ii) Contextual shaping filter, that utilizes filtered frequencies examined in terms of its compatibility with input signals for dependency learning. Equipped with the two filters, FilterNet can approximately surrogate the linear and attention mappings widely adopted in time series literature, while enjoying superb abilities in handling high-frequency noises and utilizing the whole frequency spectrum that is beneficial for forecasting. Finally, we conduct extensive experiments on eight time series forecasting benchmarks, and experimental results have demonstrated our superior performance in terms of both effectiveness and efficiency compared with state-of-the-art methods. Code is available at this repository: https://github.com/aikunyi/FilterNet

연구 동기 및 목표

• 주파수 도메인 필터링을 활용하여 시계열 예측에 신호 처리 관점을 제시한다.
• 정보학적 시간 패턴을 추출하기 위한 두 가지 학습 가능한 주파수 필터 블록(일반 형성 필터 및 맥락 형성 필터)을 제안한다.
• 모든 대역 주파수 필터 프레임워크가 선형 매핑과 주의 매핑을 근사하면서 고주파 노이즈를 다루고 전체 스펙트럼 정보를 활용할 수 있음을 보인다.
• 여덟 개의 실제 벤치마크에서 기준선과 비교하여 예측 성능과 효율성이 우수함을 보여준다.

제안 방법

• 필터링 전에 비정상성을 완화하기 위해 인스턴스 정규화를 적용한다.
• F^{-1}(F(Z) * H_filter)을 수행하는 주파수 필터 블록을 사용하여 주파수 도메인에서 작동한다.
• 두 가지 학습 가능한 필터 설계:(i) PaiFilter(일반 형성 필터)로 무작위 초기화(보편적 또는 채널별); (ii) TexFilter(맥락 형성 필터)로 H_filter를 데이터-조건 신경망 H_phi()를 통해 적응시키며 주파수 도메인에서 적용한다.
• PaiFilter 변형은 공유(Uni) 또는 개별 Ind 채널 필터를 포함하며, 일반적으로 채널 공유가 성능이 더 좋다.
• TexFilter는 데이터 의존적 주파수 필터 H_phi(F(Z))를 신경망 파이프라인을 통해 생성하고 주파수 도메인에서 이를 적용한다.
• 필터링된 표현을 시계열 도메인으로 다시 투영하기 위해 피드포워드 네트워크를 사용하고 역정규화를 적용하여 예측치를 얻는다.

(b) iTransformer with MSE=1.1e-01

실험 결과

연구 질문

• RQ1 주파수 도메인에서의 주파수 필터링 접근법이 Transformer- 및 MLP 기반 시계열 예측기보다 우수한가?
• RQ2 일반 형성 필터와 맥락 형성 필터가 시간 의존성 모델링 및 비정상적이고 고주파 신호를 다루는 데 있어 어떻게 다른가?
• RQ3 필터를 채널 간에 공유하는 것이 채널별 필터보다 더 나은 예측을 제공하는가?
• RQ4 제안된 필터가 선형 매핑과 주의 메커니즘을 모두 근사하면서 잡음에 대한 강건성을 제공하는가?
• RQ5 다양한 시계열 벤치마크에서 FilterNet의 정확도와 효율성은 실증적으로 어떠한가?

주요 결과

모델	TexFilter_MSE	TexFilter_MAE	PaiFilter_MSE	PaiFilter_MAE	iTransformer_MSE	iTransformer_MAE	PatchTST_MSE	PatchTST_MAE	FEDformer_MSE	FEDformer_MAE	TimesNet_MSE	TimesNet_MAE	DLinear_MSE	DLinear_MAE	RLinear_MSE	RLinear_MAE	FITS_MSE	FITS_MAE
ETTm1	0.321	0.394	0.358	0.361	0.334	0.368	0.329	0.367	0.379	0.419	0.338	0.375	0.344	0.370	0.355	0.376	0.355	0.375
ETTm1	0.367	0.387	0.364	0.383	0.377	0.391	0.367	0.385	0.426	0.441	0.374	0.387	0.379	0.393	0.387	0.392	0.392	0.393
ETTm1	0.401	0.409	0.396	0.406	0.426	0.420	0.399	0.410	0.445	0.459	0.410	0.411	0.410	0.411	0.424	0.415	0.424	0.414
ETTm1	0.477	0.448	0.456	0.444	0.491	0.459	0.454	0.439	0.543	0.490	0.478	0.450	0.473	0.450	0.487	0.450	0.487	0.449
ETTm2	0.175	0.258	0.174	0.257	0.180	0.264	0.175	0.259	0.203	0.287	0.187	0.267	0.187	0.281	0.182	0.265	0.183	0.266
ETTm2	0.240	0.301	0.240	0.300	0.250	0.309	0.241	0.302	0.269	0.328	0.249	0.309	0.272	0.349	0.246	0.304	0.247	0.305
ETTm2	0.311	0.347	0.297	0.339	0.311	0.348	0.305	0.343	0.325	0.366	0.321	0.351	0.316	0.372	0.307	0.342	0.307	0.342
ETTm2	0.414	0.405	0.392	0.393	0.412	0.407	0.402	0.400	0.421	0.415	0.408	0.403	0.452	0.457	0.407	0.398	0.407	0.399
ETTh1	0.382	0.402	0.375	0.394	0.386	0.405	0.414	0.419	0.376	0.420	0.384	0.402	0.383	0.396	0.386	0.395	0.386	0.396
ETTh1	0.430	0.429	0.436	0.422	0.441	0.436	0.460	0.445	0.420	0.448	0.436	0.429	0.433	0.426	0.437	0.424	0.436	0.423
ETTh1	0.472	0.451	0.476	0.443	0.487	0.458	0.501	0.466	0.459	0.465	0.491	0.469	0.479	0.457	0.479	0.446	0.478	0.444
ETTh1	0.481	0.473	0.474	0.469	0.503	0.491	0.500	0.488	0.506	0.507	0.521	0.500	0.517	0.513	0.481	0.470	0.502	0.495
ETTh2	0.293	0.343	0.292	0.343	0.297	0.349	0.302	0.348	0.358	0.397	0.340	0.374	0.320	0.374	0.318	0.363	0.295	0.350
ETTh2	0.374	0.396	0.369	0.395	0.380	0.400	0.388	0.400	0.429	0.439	0.402	0.414	0.449	0.454	0.401	0.412	0.381	0.396
ETTh2	0.417	0.430	0.420	0.432	0.428	0.432	0.426	0.433	0.496	0.487	0.452	0.452	0.467	0.469	0.436	0.442	0.426	0.438
ETTh2	0.449	0.460	0.430	0.446	0.427	0.445	0.431	0.446	0.463	0.474	0.462	0.468	0.656	0.571	0.442	0.454	0.431	0.446
ECL	0.147	0.245	0.176	0.264	0.148	0.240	0.181	0.270	0.193	0.308	0.168	0.272	0.195	0.277	0.201	0.281	0.200	0.278
ECL	0.160	0.250	0.185	0.270	0.162	0.253	0.188	0.274	0.201	0.315	0.184	0.289	0.194	0.280	0.201	0.283	0.200	0.280
ECL	0.173	0.267	0.202	0.286	0.178	0.269	0.204	0.293	0.214	0.329	0.198	0.300	0.207	0.296	0.215	0.298	0.214	0.295
ECL	0.210	0.309	0.242	0.319	0.225	0.317	0.246	0.324	0.246	0.355	0.220	0.320	0.242	0.329	0.257	0.331	0.255	0.327
Exchange	0.091	0.211	0.083	0.202	0.086	0.206	0.088	0.205	0.148	0.278	0.107	0.234	0.085	0.210	0.093	0.217	0.084	0.203
Exchange	0.186	0.305	0.174	0.296	0.177	0.299	0.176	0.299	0.271	0.315	0.226	0.344	0.178	0.299	0.184	0.307	0.177	0.298
Exchange	0.380	0.449	0.326	0.413	0.331	0.417	0.301	0.397	0.460	0.427	0.367	0.448	0.298	0.409	0.351	0.432	0.321	0.410
Exchange	0.896	0.712	0.840	0.670	0.847	0.691	0.901	0.714	1.195	0.695	0.964	0.746	0.861	0.671	0.886	0.714	0.828	0.685
Traffic	0.430	0.294	0.506	0.336	0.395	0.268	0.462	0.295	0.587	0.366	0.593	0.321	0.650	0.397	0.649	0.389	0.651	0.391
Traffic	0.452	0.307	0.508	0.333	0.417	0.276	0.466	0.296	0.604	0.373	0.617	0.336	0.600	0.372	0.601	0.366	0.602	0.363
Traffic	0.470	0.316	0.518	0.335	0.433	0.283	0.482	0.304	0.621	0.383	0.629	0.336	0.606	0.374	0.609	0.369	0.609	0.366
Traffic	0.498	0.323	0.553	0.354	0.467	0.302	0.514	0.322	0.626	0.382	0.640	0.350	0.646	0.395	0.647	0.387	0.647	0.385
Weather	0.162	0.207	0.164	0.210	0.174	0.214	0.177	0.218	0.217	0.296	0.172	0.220	0.194	0.248	0.192	0.232	0.166	0.213
Weather	0.210	0.250	0.214	0.252	0.221	0.254	0.225	0.259	0.276	0.336	0.219	0.261	0.234	0.290	0.240	0.271	0.213	0.254
Weather	0.265	0.290	0.268	0.293	0.278	0.296	0.278	0.297	0.339	0.380	0.280	0.306	0.283	0.335	0.292	0.307	0.269	0.294
Weather	0.342	0.340	0.344	0.342	0.358	0.347	0.354	0.348	0.403	0.428	0.365	0.359	0.348	0.385	0.364	0.353	0.346	0.343

• FilterNet은 Transformer-, MLP-, 주파수 기반 모델 등 다양한 기준선들을 여덟 개 벤치마크에서 예측 horizon 여러 단계에 걸쳐 지속적으로 능가한다.
• TexFilter는 복잡한 맥락 상관관계가 큰 대형 데이터 세트에서 우수하고, PaiFilter는 소형 데이터 세트에서 좋은 성능을 보인다.
• 공유 채널의 plain 형성 필터(Uni)가 일반적으로 채널별 변형 Ind보다 우수한 경향이 있어 채널 공유가 예측에 유리함을 시사한다.
• 모델은 추세 및 주기 성분을 견고하게 모델링하고 전체 주파수 스펙트럼에 걸쳐 정보를 보존하며, 저역 도메인 필터링(FITS)보다 우수한 성능을 보인다.
• 시각화 결과 FilterNet은 주의 중심이 된 Transformer와 달리 적응적 주파수 응답을 달성하여 고주파 및 저주파 구성요소를 효과적으로 활용한다.

(c) FilterNet with MSE=2.7e-05