[論文レビュー] FECAM: Frequency Enhanced Channel Attention Mechanism for Time Series Forecasting

Maowei Jiang, Pengyu Zeng+4 more|arXiv (Cornell University)|Dec 2, 2022

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、離散コサイン変換（DCT）に基づく周波数強化チャネル注意メカニズム（FECAM）を提案し、チャネル間の周波数ドメイン依存関係をモデル化することで時系列予測を向上させる。フーリエ変換とは異なり、DCTはギブス現象を回避し、効率的なエネルギー集約を可能にし、最小限の計算コストとわずか数行のコードで、Transformer や LSTM、Informer などの既存モデルに統合可能である。6つの実世界データセットで最先端の性能を達成した。

ABSTRACT

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

研究の動機と目的

• 主流の時系列モデルが周波数ドメインのパターン、特に実世界データに豊富に含まれる低周波成分を捉えきれていないという限界に対処すること。
• フーリエ変換に基づく周波数モデリングに内在するギブス現象を克服すること。これは信号境界で高周波ノイズを生じさせる。
• Transformer や LSTM、Informer などの既存モデルを向上させる一般化可能で軽量なモジュールを設計すること。
• 多様な実世界の時系列ベンチマークで最小限の計算コストで最先端の性能を達成すること。

提案手法

• 離散コサイン変換（DCT）を活用してチャネル間の周波数ドメイン依存関係をモデル化する周波数強化チャネル注意メカニズム（FECAM）を提案する。
• ギブス現象を回避するため、フーリエ変換の代わりに DCT を使用し、滑らかな境界近似と高周波ノイズの排除を実現する。
• 学習されたチャネル重みを用いて各チャネルごとの重要な周波数を強調し、チャネル間および周波数内関係の統合的モデリングを可能にする。
• Transformer や Informer、LSTM などの既存アーキテクチャに最小限のアーキテクチャ的変更で、プラグインモジュールとして FECAM を統合する。
• DCT のエネルギー集約特性を活用し、少ない周波数成分で信号を効率的に再構成する。
• 最終的な FECAM バージョンでは、パラメータを削減し、過学習を緩和するためのプロジェクション層を導入し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインモデリングは、主流の時系列予測モデルの予測精度を向上させることができるか？
• RQ2 フーリエ変換の代わりに離散コサイン変換（DCT）を用いることで、ギブス現象が軽減され、境界近似が改善されるか？
• RQ3 周波数に敏感な注意メカニズムは、Transformer や LSTM、Informer といった多様なアーキテクチャに一般化可能か？
• RQ4 DCT のエネルギー集約特性は、DFT と比較して、少ない成分で時系列信号を再構成する際にどのように優れているか？
• RQ5 FECAM は、周波数コンテンツが異なる実世界データセットで、どの程度性能を向上させるか？

主な発見

• FECAM は ETTm2 や Exchange、Weather を含む6つの実世界時系列データセットで最先端の性能を達成した。
• LSTM では MSE を 35.99% 減少、Reformer では 10.01%、Informer では 8.71%、Autoformer では 8.29%、Transformer では 8.06% 減少した。
• 低周波成分のエネルギーが強いデータセット（例：ETTm2 や Weather）では、FECAM が最大の性能向上を達成したが、低周波成分が顕著でない交通データセットでは向上幅が小さい。
• 可視化により、FECAM が意味のある周波数-チャネル注意パターンを効果的に学習していることが確認され、標準的な注意メカニズムを上回る周波数に敏感な表現を捉えられていた。
• DCT を用いた再構成は、DFT よりもエネルギー集約性に優れており、同等またはより良い信号忠実度を達成するために必要な成分数が少なかった。
• FECAM モジュールは非常に一般化可能であり、わずか数行のコードで既存モデルに統合可能で、計算コストも低く抑えられた。