[論文レビュー] SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

Lu Han, Xuyang Chen+2 more|arXiv (Cornell University)|Apr 22, 2024

Time Series Analysis and Forecasting被引用数 13

ひとこと要約

SOFTSは、中心化されたSTADモジュールを備えた単純なMLPベースの多変量時系列予測器を提示し、線形計算量で最先端の性能を達成し、注意機構を多くのモデルで置換します。

ABSTRACT

Multivariate time series forecasting plays a crucial role in various fields such as finance, traffic management, energy, and healthcare. Recent studies have highlighted the advantages of channel independence to resist distribution drift but neglect channel correlations, limiting further enhancements. Several methods utilize mechanisms like attention or mixer to address this by capturing channel correlations, but they either introduce excessive complexity or rely too heavily on the correlation to achieve satisfactory results under distribution drifts, particularly with a large number of channels. Addressing this gap, this paper presents an efficient MLP-based model, the Series-cOre Fused Time Series forecaster (SOFTS), which incorporates a novel STar Aggregate-Redistribute (STAR) module. Unlike traditional approaches that manage channel interactions through distributed structures, extit{e.g.}, attention, STAR employs a centralized strategy to improve efficiency and reduce reliance on the quality of each channel. It aggregates all series to form a global core representation, which is then dispatched and fused with individual series representations to facilitate channel interactions effectively.SOFTS achieves superior performance over existing state-of-the-art methods with only linear complexity. The broad applicability of the STAR module across different forecasting models is also demonstrated empirically. For further research and development, we have made our code publicly available at https://github.com/Secilia-Cxy/SOFTS.

研究の動機と目的

• チャネル間の相関を活用しつつ二乗の計算量を要さず、堅牢な多変量予測を動機づける。
• STADモジュールを通じて線形計算量を実現するMLPベースの予測器としてSOFTSを提案する。
• トランスフォーマー系予測器においてSTADが注意機構を置換できることを示し、性能を維持または向上させる。
• 多数のチャネルと長いルックバック長を持つデータセットへのスケーラビリティを示す。

提案手法

• 各時系列チャネルをシリーズ埋め込みによって埋め込み、S0 ∈ R^{C x d} を得る。
• STAD層でMLPと確率的プーリングを用いてグローバルコアを計算し、繰り返し結合 Repeat_Concat と MLP2 および残差接続を通じてコアを各チャネルと融合することで埋め込みを反復的に洗練する。
• STADは中心化された相互作用パターンを提供し、注意機構ベースのモジュールと比較して計算量を二乗から線形へ削減する。
• 最終チャネル表現を予測ホライズンHへ写像するために線形予測子を用いる。
• ADAM最適化、MSE損失、ハイパーパラメータにはルックバックL=96、ホライズンはPEMSで{12,24,48,96}、その他で{96,192,336,720}を含むことを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 中心化されたSTADモジュールは、線形スケーラビリティを維持しつつチャネル間相関を効果的に捕捉できるか？
• RQ2 トランスフォーマー系予測器で注意機構をSTADに置換して予測精度を維持または向上させるか？
• RQ3 多くのチャネルと異なるルックバックウィンドウを持つデータセットでSOFTSはどう性能を発揮するか？
• RQ4 注意機構ベースの手法と比較したとき、STADがメモリ効率/時間効率に及ぼす影響は？
• RQ5 隠れ次元d、コア次元d'、層数Nなどのハイパーパラメータに対する性能の感度はどの程度か？

主な発見

• SOFTSはチャンネル数とウィンドウ長に線形計算量で、6つの実世界データセットにおいて最先端または競合的な結果を達成する。
• STADは相互作用の複雑さを二乗から線形へ削減し、プーリング手法を問わず性能を維持または向上させ、確率的プーリングが最も良好な性能を示す。
• Replacing attention with STAD in PatchTST, iTransformer, and Crossformer can maintain or improve performance in several datasets, highlighting STAD’s universality.
• SOFTSは非常に多くのチャネルを持つデータセット（例：数百チャネルのTraffic）にスケールし、Transformerベースのモデルと比較してメモリ/時間特性が有利である。
• ルックバックウィンドウを拡張すると一般的にSOFTSの性能が向上し、より大きな隠れ次元とエンコーダー深度がTrafficやPEMSのような高度に複雑なデータセットで有益である。