[論文レビュー] FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

Tian Zhou, Ziqing Ma+4 more|arXiv (Cornell University)|Jan 30, 2022

Time Series Analysis and Forecasting被引用数 535

ひとこと要約

FEDformerは季節性・トレンド分解を周波数領域のTransformerブロックと統合し、線形計算量の長期予測を実現するとともに、最先端手法を上回る精度を達成します。

ABSTRACT

Although Transformer-based methods have significantly improved state-of-the-art results for long-term series forecasting, they are not only computationally expensive but more importantly, are unable to capture the global view of time series (e.g. overall trend). To address these problems, we propose to combine Transformer with the seasonal-trend decomposition method, in which the decomposition method captures the global profile of time series while Transformers capture more detailed structures. To further enhance the performance of Transformer for long-term prediction, we exploit the fact that most time series tend to have a sparse representation in well-known basis such as Fourier transform, and develop a frequency enhanced Transformer. Besides being more effective, the proposed method, termed as Frequency Enhanced Decomposed Transformer ({\bf FEDformer}), is more efficient than standard Transformer with a linear complexity to the sequence length. Our empirical studies with six benchmark datasets show that compared with state-of-the-art methods, FEDformer can reduce prediction error by $14.8\%$ and $22.6\%$ for multivariate and univariate time series, respectively. Code is publicly available at https://github.com/MAZiqing/FEDformer.

研究の動機と目的

• グローバルな時系列特性を捉えるために、Transformerベースのモデルを用いた長期予測を動機付ける。
• 周波数領域のTransformerアーキテクチャを提案し、Fourier表現とWavelet表現を季節-トレンド分解と組み合わせる。
• ランダムサブセットの周波数成分と混合専門家分解により、時間/メモリ計算量を線形に達成する。
• 複数ドメインの6つの実世界データセットにおいて、最先端手法を超える改善を示す。

提案手法

• 自己注意・クロス注意の代替として、FourierまたはWavelet領域で動作するFrequency Enhanced Block (FEB)とFrequency Enhanced Attention (FEA)を導入する。
• 季節-トレンド成分を抽出・結合するためにMixture Of Experts Decomposition (MOEDecomp)を組み込む。
• 固定数のFourier成分（またはWavelet相当）をランダムに選択して、理論的保証（定理1）を持つコンパクトな時系列表現を得る。
• 周波数領域で学習するための2つのバリアント FEB-f/FEA-f（Fourier）と FEB-w/FEA-w（Wavelet）を提供する。
• デコードされた季節成分とトレンド成分を結合して最終予測を生成する。
• 固定モード数でO(L)の時間・メモリ計算量を示し、適用可能な場合には全注意と比較してO(N log N)の削減を分析する。

実験結果

リサーチクエスチョン

• RQ1 時系列を季節・トレンド成分に分解することは、Transformerアーキテクチャと組み合わせた場合、長期予測を改善しますか？
• RQ2 周波数領域（FourierまたはWavelet）での動作は、精度を犠牲にせず、効率的でスケーラブルな長期予測を可能にしますか？
• RQ3 （定理1）を満たすのか？
• RQ4 季節-トレンドパターンの抽出に対する、Mixture Of Experts Decompositionの統合の影響は何か？
• RQ5 多様な実データセットに対して、FEDformerは最先端のTransformerベースモデルとどう比較されるか？

主な発見

• FEDformerは6つのベンチマークで、最先端手法より予測誤差を14.8%（多変量）および22.6%（単変量）低減した。
• FEB/FEAブロックは、自己注意およびクロス注意を置換し、実験全体で性能を向上させるか維持できる。
• MOEDecompは、単一分解スキームより平均約2.96%の追加利得を提供する。
• FEDformerは、尺度（96、192、336、720ステップ）およびデータセット（エネルギー、交通、経済、天気、疾病）全般で強い利得を示す。
• 2つの周波数バリアント（FourierとWavelet）は相補的な強みを提供し、堅牢な長期予測のために両方の併用を示唆する。