[論文レビュー] FreDo: Frequency Domain-based Long-Term Time Series Forecasting

Fan-Keng Sun, Duane S. Boning|arXiv (Cornell University)|May 24, 2022

Stock Market Forecasting Methods被引用数 9

ひとこと要約

FreDoは、周期性を活用し誤差蓄積を低減することで、Autoformerなどの最先端のTransformerモデルを上回る長期時系列予測を実現する周波数ドメインに基づくニューラルネットワークモデルを提案する。周期性に基づくベースライン（AverageTile）に構築され、周波数ドメインで学習することで、多様なデータセットにおいて最大50%の誤差低減と顕著な一般化性能向上を達成した。

ABSTRACT

The ability to forecast far into the future is highly beneficial to many applications, including but not limited to climatology, energy consumption, and logistics. However, due to noise or measurement error, it is questionable how far into the future one can reasonably predict. In this paper, we first mathematically show that due to error accumulation, sophisticated models might not outperform baseline models for long-term forecasting. To demonstrate, we show that a non-parametric baseline model based on periodicity can actually achieve comparable performance to a state-of-the-art Transformer-based model on various datasets. We further propose FreDo, a frequency domain-based neural network model that is built on top of the baseline model to enhance its performance and which greatly outperforms the state-of-the-art model. Finally, we validate that the frequency domain is indeed better by comparing univariate models trained in the frequency v.s. time domain.

研究の動機と目的

• 複雑な深層学習モデルが長期時系列予測において誤差蓄積のため、単純なベースラインを実際に上回っているかどうかを調査すること。
• 長期予測タスクにおいて最先端の性能を達成する、単純で周期性に基づくベースラインモデル（AverageTile）を設計すること。
• FreDoを提案し、このベースラインを強化することで長期予測において優れた性能を達成すること。
• 周波数ドメインでの学習が時系列ドメインでの学習よりも、単変量予測設定において優位であることを検証すること。

提案手法

• FreDoは、入力時系列を離散フーリエ変換（DFT）を用いて周波数ドメインに変換する、前向き型ニューラルネットワークである。
• モデルはデータセット内のすべての時系列に共通のパラメータを使用しており、一般化を促進し、過学習を低減する。
• AverageTileベースラインの上に構築されており、これは時系列の最新の周期を繰り返して将来の値を予測する。
• 周波数ドメイン表現により、時系列ドメインモデルよりも、固有の周期的パターンをより効果的に捉え、活用できる。
• アブレーションスタディでは、各時系列ごとに独立に訓練した単変量モデルを、時系列ドメインで学習する（TimeDo）と周波数ドメインで学習する（FreDo）とを比較し、モデル全体の能力を評価する。
• 統計的有意性は、各データセットのすべての単変量時系列に対してペアドt検定を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 長期予測における誤差蓄積が、複雑なモデルが単純なベースラインを上回る性能向上を制限しているか？
• RQ2 非パrametricで周期性に基づくベースラインモデル（AverageTile）は、Autoformerのような最先端のTransformerモデルと同等の性能を達成できるか？
• RQ3 周波数ドメインでの学習は、時系列ドメインでの学習と比較して、長期予測においてより良い一般化と低い誤差をもたらすか？
• RQ4 周波数ドメインでの学習による性能向上は、多様な単変量時系列において統計的に有意か？

主な発見

• FreDoは、すべてのデータセットと予測ホライズンにおいて、Autoformerを20%以上上回る誤差低減を達成しており、特定のベンチマークでは最大50%の改善を示した。
• 性能向上は統計的に有意であり、大多数の比較でp値 < 1%であり、結果の信頼性が非常に高いことを示している。
• FreDoはAutoformerよりもバイアスと分散が低く、モデルサイズが小さく、時系列間でパラメータを共有する戦略によるものとされている。
• 単変量比較において、FreDoは7つのすべてのデータセットでTimeDoを一貫して上回り、ペアドt検定により統計的に有意な改善が確認された。
• 図4に示される誤差曲線の結果から、周波数ドメインアプローチが長期ホライズンにわたる誤差蓄積を低減していることが裏付けられた。
• 結果は、周波数ドメインでの学習が、周期的パターンをモデリングする際、時系列ドメインでの学習よりも効果的であることを検証した。