[論文レビュー] Unlocking the Power of LSTM for Long Term Time Series Forecasting

Yaxuan Kong, Zepu Wang+6 more|arXiv (Cornell University)|Aug 19, 2024

Stock Market Forecasting Methods被引用数 7

ひとこと要約

P-sLSTMを提案する。patchingとチャネル独立性を備えたsLSTMを基盤とするLSTMベースの長期時系列予測モデルで、メモリ制約を克服し最先端の結果を達成する。

ABSTRACT

Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (NLP) introduces exponential gating and memory mixing that are beneficial for long term sequential learning, its potential short memory issue is a barrier to applying sLSTM directly in TSF. To address this, we propose a simple yet efficient algorithm named P-sLSTM, which is built upon sLSTM by incorporating patching and channel independence. These modifications substantially enhance sLSTM's performance in TSF, achieving state-of-the-art results. Furthermore, we provide theoretical justifications for our design, and conduct extensive comparative and analytical experiments to fully validate the efficiency and superior performance of our model.

研究の動機と目的

• sLSTMがメモリ容量を改善する理由と、それが時系列予測への適用性をもたらす理由を説明する。
• sLSTMが時系列予測における長期依存性に対して長期メモリを保証できないことを示し、patchingでこれを解決する。
• patchingとチャネル独立性を統合したP-sLSTMを導入し、時系列予測におけるメモリと効率を高める。
• 広範な実験を通じて、P-sLSTMがLSTMおよびsLSTMを上回り、最先端モデルと競合できることを示す。

提案手法

• Markov連鎖の定式化を通じて、sLSTMのメモリ特性と幾何的エルゴード性を説明する。
• multivariate系列を独立したチャネルに分割し、単変量パッチを処理するためにpatchingを適用してP-sLSTMを提案する。
• 過剰適合を抑制し効率を向上させるためにチャネル独立性を組み込む。
• パッチ単位の予測を線形射影パイプラインで結合して最終的な多変量予測を得る。
• MSE/MAE指標を用いて複数のデータセットでP-sLSTMをさまざまなベースラインと比較する。

Figure 1: Overview of P-sLSTM Architecture (Top Left: sLSTM structure; Bottom Left: sLSTM block; details in Appendix).

実験結果

リサーチクエスチョン

• RQ1 sLSTMは時系列予測における長期依存性を効果的に捉えることができるか？
• RQ2 patchingはTSFにおけるsLSTMの長距離メモリを回復・強化するか？
• RQ3 チャネル独立性はRNNベースのTSFモデルの予測精度を改善し、過学習を減らすか？
• RQ4 標準的なTSFデータセットで、P-sLSTMはLSTM、sLSTM、Transformer、MLP、およびSSMのベースラインと比較してどの程度の性能か？

主な発見

• P-sLSTMは複数のデータセットで高い精度を達成し、多くの設定でsLSTMを上回り、概ねLSTMを凌駕する。
• P-sLSTMは最先端のTransformer/MLP/SSMモデルと競合する性能を発揮しつつ、トレーニングコストを低く抑える。
• Patchingはチャネル内のセグメントを分割処理することを可能にし、長期依存性の把握を助ける。
• チャネル独立性はチャネル混合型と比較して過学習を防ぎ、一般化性能を向上させる。
• アブレーション研究はメモリ混合がわずかな改善をもたらすことを示し、CIはトレーニング誤差を減らし検証/テスト性能を向上させる。
• P-sLSTMは報告された実験で競合ベースラインより計算コストが低いことを示す。

Figure 2: Exploration of different patch sizes on the performance of P-sLSTM on the Weather and Electricity dataset.