[論文レビュー] Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

Kun Yi, Qi Zhang+8 more|arXiv (Cornell University)|Nov 10, 2023

Stock Market Forecasting Methods被引用数 91

ひとこと要約

FreTSは周波数ドメインのMLPを2つの学習者（チャネルと時間）とともに導入し、時系列予測のグローバルスペクトル依存性を学習することで、13個の実世界ベンチマークにおいて最新手法を上回る結果を達成します。

ABSTRACT

Time series forecasting has played the key role in different industrial, including finance, traffic, energy, and healthcare domains. While existing literatures have designed many sophisticated architectures based on RNNs, GNNs, or Transformers, another kind of approaches based on multi-layer perceptrons (MLPs) are proposed with simple structure, low complexity, and {superior performance}. However, most MLP-based forecasting methods suffer from the point-wise mappings and information bottleneck, which largely hinders the forecasting performance. To overcome this problem, we explore a novel direction of applying MLPs in the frequency domain for time series forecasting. We investigate the learned patterns of frequency-domain MLPs and discover their two inherent characteristic benefiting forecasting, (i) global view: frequency spectrum makes MLPs own a complete view for signals and learn global dependencies more easily, and (ii) energy compaction: frequency-domain MLPs concentrate on smaller key part of frequency components with compact signal energy. Then, we propose FreTS, a simple yet effective architecture built upon Frequency-domain MLPs for Time Series forecasting. FreTS mainly involves two stages, (i) Domain Conversion, that transforms time-domain signals into complex numbers of frequency domain; (ii) Frequency Learning, that performs our redesigned MLPs for the learning of real and imaginary part of frequency components. The above stages operated on both inter-series and intra-series scales further contribute to channel-wise and time-wise dependency learning. Extensive experiments on 13 real-world benchmarks (including 7 benchmarks for short-term forecasting and 6 benchmarks for long-term forecasting) demonstrate our consistent superiority over state-of-the-art methods.

研究の動機と目的

• 簡素で低い複雑さのMLPで時系列予測を動機づけると同時に、点ごとの写像と情報ボトルネックの限界に対処する。
• グローバルスペクトル視とエネルギー圧縮を活用して依存性を捉える周波数ドメイン学習フレームワーク（FreTS）を提案する。
• 変換された周波数成分上で動作する2つの周波数学習者（チャネルと時間）を設計し、系列間と系列内のダイナミクスをモデル化する。
• 先進的な手法と比較して13の実世界データセットでFreTSの有効性と効率を実証する。
• FreMLPと2つの周波数学習者の貢献を検証するアブレーションと互換性分析を提供する。

提案手法

• 離散フーリエ変換（DFT）を用いて時系列入力を周波数ドメインへ変換し、実部/虚部を取得する。
• 周波数表現上で動作する2つの周波数学習者：Frequency Channel Learner（チャネル間依存性を処理）とFrequency Temporal Learner（時間的依存性を処理）を適用する。
• FreMLP（複素数値MLP）を用いて実部と虚部の写像をそれぞれ学習し、それらを組み合わせて周波数ドメイン出力を形成する。
• チャネルと時間の両方向に沿ってドメイン変換と反転を実行し、スペクトル学習を可能にし、その後時系列ドメインへ再構成する。
• 周波数ドメイン処理前に表現を豊かにする学習可能な次元拡張ブロックを入力に拡張する。
• 最終的なホライズン予測を生成する2層のプロジェクション（FFN）で結論づけ、誤差蓄積を回避する。

(a) Left : time domain. Right : frequency domain.

実験結果

リサーチクエスチョン

• RQ1 FreTSは短期・長期ベンチマークにおいて最先端の予測モデルと比べてどの程度高い性能を示すか。
• RQ2 FreTSの性能に対する周波数チャネル学習者と周波数時間学習者の寄与はどの程度か。
• RQ3 FreMLPは既存のMLPベース予測モデルに組み込んだ場合、測定可能な性能向上をもたらすか。
• RQ4 Transformer-およびGNNベースのベースラインと比較してFreTSの効率特性はどうか。

主な発見

• FreTSは13の実世界データセットを通じて短期・長期予測の両方でベースラインを一貫して上回る。
• アブレーションでは、周波数チャネル学習者が短期予測に大きな利益をもたらし、周波数時間学習者は長期予測で高い有効性を示す。
• DLinearおよびNLinearにFreMLPを置換することで、データセット全体で性能が向上する（例: ExchangeとWeather）。
• FreTSは複雑さO(N log N + L log L)を持ち、いくつかのTransformer-およびGNNベース手法に比べてパラメータ数と学習時間を削減する点で有利な効率性を示す。
• 2段階のドメインアプローチ（チャネルと時間の各次元にまたがるドメイン変換と反転）により、グローバルなスペクトル依存性とエネルギー重視の表現を学習でき、予測精度の向上に寄与する。

(b) Left : time domain. Right : frequency domain.