[論文レビュー] FilterNet: Harnessing Frequency Filters for Time Series Forecasting

Kun Yi, Jing Fei+5 more|arXiv (Cornell University)|Nov 3, 2024

Time Series Analysis and Forecasting被引用数 11

ひとこと要約

FilterNet は周波数領域で動作する学習可能な周波数フィルタ（プレーン整形フィルタと文脈整形フィルタ）を導入し、時系列を予測することで、Transformer-およびMLPベースのベースラインを8つのベンチマーク全体で精度と効率の点で上回る。

ABSTRACT

While numerous forecasters have been proposed using different network architectures, the Transformer-based models have state-of-the-art performance in time series forecasting. However, forecasters based on Transformers are still suffering from vulnerability to high-frequency signals, efficiency in computation, and bottleneck in full-spectrum utilization, which essentially are the cornerstones for accurately predicting time series with thousands of points. In this paper, we explore a novel perspective of enlightening signal processing for deep time series forecasting. Inspired by the filtering process, we introduce one simple yet effective network, namely FilterNet, built upon our proposed learnable frequency filters to extract key informative temporal patterns by selectively passing or attenuating certain components of time series signals. Concretely, we propose two kinds of learnable filters in the FilterNet: (i) Plain shaping filter, that adopts a universal frequency kernel for signal filtering and temporal modeling; (ii) Contextual shaping filter, that utilizes filtered frequencies examined in terms of its compatibility with input signals for dependency learning. Equipped with the two filters, FilterNet can approximately surrogate the linear and attention mappings widely adopted in time series literature, while enjoying superb abilities in handling high-frequency noises and utilizing the whole frequency spectrum that is beneficial for forecasting. Finally, we conduct extensive experiments on eight time series forecasting benchmarks, and experimental results have demonstrated our superior performance in terms of both effectiveness and efficiency compared with state-of-the-art methods. Code is available at this repository: https://github.com/aikunyi/FilterNet

研究の動機と目的

• 周波数領域フィルタリングを活用して時系列予測に信号処理的観点を動機づける。
• 有益な時間的パターンを抽出するための学習可能な周波数フィルタブロックを二つ提案する（plain shaping filter と contextual shaping filter）。
• 全透過周波数フィルタフレームワークが、線形写像とアテンションの両方を近似しつつ、高周波ノイズに対処し、全スペクトル情報を活用できることを示す。
• ベースラインと比較して、8つの実世界ベンチマークで予測性能と効率の優位性を示す。

提案手法

• フィルタリング前に非定常性を緩和するためにインスタンス正規化を適用する。
• F^{-1}(F(Z) * H_filter) を実行する周波数フィルタブロックを用いて周波数領域で動作する。
• Two learnable filter designs: (i) PaiFilter (plain shaping filter) with random initialization (universal or per-channel); (ii) TexFilter (contextual shaping filter) that adapts H_filter via data-conditioned neural network H_phi().
• PaiFilter の変種には共有 (Uni) または個別 (Ind) チャンネルフィルタが含まれ、チャンネル共有は一般に性能が良い。
• TexFilter はニューラルネットワークのパイプラインを通じてデータ依存の周波数フィルタ H_phi(F(Z)) を生成し、周波数領域で適用します。
• フィルタリング後の表現をフィードフォワードネットワークで時系列ドメインへ射影し、予測を得るために逆正規化を適用する。

(b) iTransformer with MSE=1.1e-01

実験結果

リサーチクエスチョン

• RQ1 周波数領域の周波数フィルタベースアプローチは、Transformer-およびMLPベースの時系列予測器を上回ることができるか？
• RQ2 素の整形フィルタと文脈整形フィルタは、時間的依存性のモデリングや非定常・高周波信号への対処においてどのように異なるのか？
• RQ3 チャネル間でのフィルタ共有は、チャネルごとフィルタより良い予測性能を生むか？
• RQ4 提案フィルタは線形写像と注意機構の両方を近似しつつ、ノイズに対して頑健性を提供できるか？
• RQ5 FilterNet の8つの実データベースでの精度と効率の実証的な性能はどうか？

主な発見

モデル	TexFilter_MSE	TexFilter_MAE	PaiFilter_MSE	PaiFilter_MAE	iTransformer_MSE	iTransformer_MAE	PatchTST_MSE	PatchTST_MAE	FEDformer_MSE	FEDformer_MAE	TimesNet_MSE	TimesNet_MAE	DLinear_MSE	DLinear_MAE	RLinear_MSE	RLinear_MAE	FITS_MSE	FITS_MAE
ETTm1	0.321	0.394	0.358	0.361	0.334	0.368	0.329	0.367	0.379	0.419	0.338	0.375	0.344	0.370	0.355	0.376	0.355	0.375
ETTm1	0.367	0.387	0.364	0.383	0.377	0.391	0.367	0.385	0.426	0.441	0.374	0.387	0.379	0.393	0.387	0.392	0.392	0.393
ETTm1	0.401	0.409	0.396	0.406	0.426	0.420	0.399	0.410	0.445	0.459	0.410	0.411	0.410	0.411	0.424	0.415	0.424	0.414
ETTm1	0.477	0.448	0.456	0.444	0.491	0.459	0.454	0.439	0.543	0.490	0.478	0.450	0.473	0.450	0.487	0.450	0.487	0.449
ETTm2	0.175	0.258	0.174	0.257	0.180	0.264	0.175	0.259	0.203	0.287	0.187	0.267	0.187	0.281	0.182	0.265	0.183	0.266
ETTm2	0.240	0.301	0.240	0.300	0.250	0.309	0.241	0.302	0.269	0.328	0.249	0.309	0.272	0.349	0.246	0.304	0.247	0.305
ETTm2	0.311	0.347	0.297	0.339	0.311	0.348	0.305	0.343	0.325	0.366	0.321	0.351	0.316	0.372	0.307	0.342	0.307	0.342
ETTm2	0.414	0.405	0.392	0.393	0.412	0.407	0.402	0.400	0.421	0.415	0.408	0.403	0.452	0.457	0.407	0.398	0.407	0.399
ETTh1	0.382	0.402	0.375	0.394	0.386	0.405	0.414	0.419	0.376	0.420	0.384	0.402	0.383	0.396	0.386	0.395	0.386	0.396
ETTh1	0.430	0.429	0.436	0.422	0.441	0.436	0.460	0.445	0.420	0.448	0.436	0.429	0.433	0.426	0.437	0.424	0.436	0.423
ETTh1	0.472	0.451	0.476	0.443	0.487	0.458	0.501	0.466	0.459	0.465	0.491	0.469	0.479	0.457	0.479	0.446	0.478	0.444
ETTh1	0.481	0.473	0.474	0.469	0.503	0.491	0.500	0.488	0.506	0.507	0.521	0.500	0.517	0.513	0.481	0.470	0.502	0.495
ETTh2	0.293	0.343	0.292	0.343	0.297	0.349	0.302	0.348	0.358	0.397	0.340	0.374	0.320	0.374	0.318	0.363	0.295	0.350
ETTh2	0.374	0.396	0.369	0.395	0.380	0.400	0.388	0.400	0.429	0.439	0.402	0.414	0.449	0.454	0.401	0.412	0.381	0.396
ETTh2	0.417	0.430	0.420	0.432	0.428	0.432	0.426	0.433	0.496	0.487	0.452	0.452	0.467	0.469	0.436	0.442	0.426	0.438
ETTh2	0.449	0.460	0.430	0.446	0.427	0.445	0.431	0.446	0.463	0.474	0.462	0.468	0.656	0.571	0.442	0.454	0.431	0.446
ECL	0.147	0.245	0.176	0.264	0.148	0.240	0.181	0.270	0.193	0.308	0.168	0.272	0.195	0.277	0.201	0.281	0.200	0.278
ECL	0.160	0.250	0.185	0.270	0.162	0.253	0.188	0.274	0.201	0.315	0.184	0.289	0.194	0.280	0.201	0.283	0.200	0.280
ECL	0.173	0.267	0.202	0.286	0.178	0.269	0.204	0.293	0.214	0.329	0.198	0.300	0.207	0.296	0.215	0.298	0.214	0.295
ECL	0.210	0.309	0.242	0.319	0.225	0.317	0.246	0.324	0.246	0.355	0.220	0.320	0.242	0.329	0.257	0.331	0.255	0.327
Exchange	0.091	0.211	0.083	0.202	0.086	0.206	0.088	0.205	0.148	0.278	0.107	0.234	0.085	0.210	0.093	0.217	0.084	0.203
Exchange	0.186	0.305	0.174	0.296	0.177	0.299	0.176	0.299	0.271	0.315	0.226	0.344	0.178	0.299	0.184	0.307	0.177	0.298
Exchange	0.380	0.449	0.326	0.413	0.331	0.417	0.301	0.397	0.460	0.427	0.367	0.448	0.298	0.409	0.351	0.432	0.321	0.410
Exchange	0.896	0.712	0.840	0.670	0.847	0.691	0.901	0.714	1.195	0.695	0.964	0.746	0.861	0.671	0.886	0.714	0.828	0.685
Traffic	0.430	0.294	0.506	0.336	0.395	0.268	0.462	0.295	0.587	0.366	0.593	0.321	0.650	0.397	0.649	0.389	0.651	0.391
Traffic	0.452	0.307	0.508	0.333	0.417	0.276	0.466	0.296	0.604	0.373	0.617	0.336	0.600	0.372	0.601	0.366	0.602	0.363
Traffic	0.470	0.316	0.518	0.335	0.433	0.283	0.482	0.304	0.621	0.383	0.629	0.336	0.606	0.374	0.609	0.369	0.609	0.366
Traffic	0.498	0.323	0.553	0.354	0.467	0.302	0.514	0.322	0.626	0.382	0.640	0.350	0.646	0.395	0.647	0.387	0.647	0.385
Weather	0.162	0.207	0.164	0.210	0.174	0.214	0.177	0.218	0.217	0.296	0.172	0.220	0.194	0.248	0.192	0.232	0.166	0.213
Weather	0.210	0.250	0.214	0.252	0.221	0.254	0.225	0.259	0.276	0.336	0.219	0.261	0.234	0.290	0.240	0.271	0.213	0.254
Weather	0.265	0.290	0.268	0.293	0.278	0.296	0.278	0.297	0.339	0.380	0.280	0.306	0.283	0.335	0.292	0.307	0.269	0.294
Weather	0.342	0.340	0.344	0.342	0.358	0.347	0.354	0.348	0.403	0.428	0.365	0.359	0.348	0.385	0.364	0.353	0.346	0.343

• FilterNet は、Transformer-、MLP-、周波数ベースモデルを含むさまざまなベースラインよりも、複数の予測区間にわたり8つのベンチマークで一貫して上回る。
• TexFilter は複雑な文脈相関を持つ大規模データセットで優れた成績を示し、PaiFilter は小規模データセットでよい性能を発揮する。
• 共有チャネルのプレーン整形フィルタ（Uni）は、個別チャネル（Ind）より一般に優れており、チャネル共有が予測に有益であることを示唆する。
• モデルはトレンド成分と周期成分を堅牢にモデリングでき、FITS のような低域フィルタリング手法を上回り、全周波数スペクトル情報を保持できる。
• 可視化により、FilterNet は注意機構に焦点を当てた Transformers とは異なる適応周波数応答を獲得し、高周波成分と低周波成分の有効利用を実現している。

(c) FilterNet with MSE=2.7e-05