[論文レビュー] SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters

Shengsheng Lin, Weiwei Lin+3 more|arXiv (Cornell University)|May 2, 2024

Stock Market Forecasting Methods被引用数 8

ひとこと要約

SparseTSFは超軽量な長期時系列予測モデル（パラメータ <1k）で、Cross-Period Sparse Forecasting を用いて周期性とトレンドをデカップリングし、競争力のある精度を実現します。

ABSTRACT

This paper introduces SparseTSF, a novel, extremely lightweight model for Long-term Time Series Forecasting (LTSF), designed to address the challenges of modeling complex temporal dependencies over extended horizons with minimal computational resources. At the heart of SparseTSF lies the Cross-Period Sparse Forecasting technique, which simplifies the forecasting task by decoupling the periodicity and trend in time series data. This technique involves downsampling the original sequences to focus on cross-period trend prediction, effectively extracting periodic features while minimizing the model's complexity and parameter count. Based on this technique, the SparseTSF model uses fewer than *1k* parameters to achieve competitive or superior performance compared to state-of-the-art models. Furthermore, SparseTSF showcases remarkable generalization capabilities, making it well-suited for scenarios with limited computational resources, small samples, or low-quality data. The code is publicly available at this repository: https://github.com/lss-1138/SparseTSF.

研究の動機と目的

• 最小限の計算資源で正確な長期予測の課題に対処する。
• データに内在する周期性を活用し、周期性とトレンドをデカップリングする。
• 非常に少ないパラメータで競争力のある、あるいはそれ以上の性能を維持する軽量モデルを開発する。
• 低資源環境における汎化性能と効率性の優位性を示す。

提案手法

• 時系列をw個のサブシーケンスにダウンサンプリングし、それぞれのサブシーケンスに共有パラメータの線形予測子を適用することで Cross-Period Sparse Forecasting を導入する。
• スパース予測の前にスライディング集約（1D畳み込み）を用いて情報損失と外れ値感度に対処する。
• 平均値を引いて入力を正規化し、出力に再度平均値を加えることで分布シフトを緩和する。
• 訓練には単純な平均二乗誤差損失を用いる。
• パラメータ効率と Sparse 技術の有効性を示す理論解析を提供する。
• CI（Channel Independent）戦略の下で標準データセット上で最先端LTSFモデルと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 Can Cross-Period Sparse Forecasting decouple periodicity from trend to enable accurate long-horizon forecasts with extremely few parameters?
• RQ2 How does SparseTSF perform relative to state-of-the-art LTSF models on mainstream benchmarks while using sub-1k parameters?
• RQ3 What are the efficiency gains (parameters, MACs, memory, runtime) and generalization capabilities of SparseTSF?
• RQ4 How sensitive is performance to the chosen period w and how well does SparseTSF generalize across domains with the same periodicity?

主な発見

Model	Parameters	MACs	Max Mem. (MB)	Epoch Time (s)
Informer (2021)	12.53 M	3.97 G	969.7	70.1
Autoformer (2021)	12.22 M	4.41 G	2631.2	107.7
FEDformer (2022b)	17.98 M	4.41 G	1102.5	238.7
FiLM (2022a)	12.22 M	4.41 G	1773.9	78.3
PatchTST (2023)	6.31 M	11.21 G	10882.3	290.3
DLinear (2023)	485.3 K	156.0 M	123.8	25.4
FITS (2024)	10.5 K	79.9 M	496.7	35.0
SparseTSF (Ours)	0.92 K	12.71 M	125.2	31.3

• SparseTSF は複数の LTSF データセットで、1k 未満のパラメータで強力なベースラインと同等または優れた MSE 性能を達成する。
• The Sparse 技術はメインストリームモデルと比べて桁違いのパラメータ削減を実現しつつ、ロバスト性（実行ごとの標準偏差が小さい）を維持する。
• Effiency 指標は SparseTSF が約0.92kパラメータ、約12.7M MACs を使用し、多くのベースラインよりも著しく低いメモリ使用量と訓練時間を示す。
• アブレーション研究は Sparse 技術が Linear、Transformer、GRU のベースラインを大幅に改善することを確認し、手法の適用範囲の広さを示している。
• Cross-domain generalization experiments show SparseTSF outperforms several baselines when transferring between datasets with the same daily periodicity.