[论文解读] Unlocking the Power of LSTM for Long Term Time Series Forecasting

Yaxuan Kong, Zepu Wang+6 more|arXiv (Cornell University)|Aug 19, 2024

Stock Market Forecasting Methods被引用 7

一句话总结

提出 P-sLSTM，这是一个基于 LSTM 的长期时间序列预测模型，建立在 sLSTM 之上，结合 patching 与通道独立性，以克服内存限制并实现最先进的结果。

ABSTRACT

Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (NLP) introduces exponential gating and memory mixing that are beneficial for long term sequential learning, its potential short memory issue is a barrier to applying sLSTM directly in TSF. To address this, we propose a simple yet efficient algorithm named P-sLSTM, which is built upon sLSTM by incorporating patching and channel independence. These modifications substantially enhance sLSTM's performance in TSF, achieving state-of-the-art results. Furthermore, we provide theoretical justifications for our design, and conduct extensive comparative and analytical experiments to fully validate the efficiency and superior performance of our model.

研究动机与目标

• 解释为何 sLSTM 能提升内存容量及其在时间序列预测中的适用性。
• 展示 sLSTM 无法为 TSF 中的长期依赖保证长期记忆，并通过 patching 进行改进。
• 引入 P-sLSTM，将 patching 与通道独立性整合以提升 TSF 的记忆能力与效率。
• 通过大量实验证明 P-sLSTM 的性能优于 LSTM 和 sLSTM，并且与 SOTA 模型相当。

提出的方法

• 通过马尔可夫链形式解释 sLSTM 的记忆性质及其几何遍历性。
• 通过应用 patching 将多变量序列划分为独立的通道并处理单变量片段来提出 P-sLSTM。
• 引入通道独立性以降低过拟合并提升效率。
• 使用线性投影管道将逐片段的预测整合为最终的多变量预测。
• 在多个数据集上以 MSE/MAE 指标将 P-sLSTM 与多种基线进行比较。

Figure 1: Overview of P-sLSTM Architecture (Top Left: sLSTM structure; Bottom Left: sLSTM block; details in Appendix).

实验结果

研究问题

• RQ1 sLSTM 能否有效捕捉时间序列预测中的长期依赖？
• RQ2 patching 是否能恢复或提升 sLSTM 在 TSF 中的长程记忆？
• RQ3 通道独立性是否提高预测准确性并减少基于 RNN 的 TSF 模型的过拟合？
• RQ4 在标准 TSF 数据集上，P-sLSTM 相对于 LSTM、sLSTM、Transformer、MLP 和 SSM 基线的表现如何？

主要发现

• P-sLSTM 在多个数据集上取得更高的准确性，在大部分设置中优于 sLSTM，通常也优于 LSTM。
• P-sLSTM 的性能与最先进的 Transformer/MLP/SSM 模型相当，同时训练成本更低。
• patching 通过在通道内对片段进行分段处理，帮助捕捉长期依赖。
• 与通道混合的变体相比，通道独立性有助于防止过拟合并提高泛化。
• 消融研究表明 memory mixing 仅带来边际增益，CI 能降低训练误差，同时提升验证/测试性能。
• 在所报道的实验中，P-sLSTM 展示了比竞争基线更低的计算成本。

Figure 2: Exploration of different patch sizes on the performance of P-sLSTM on the Weather and Electricity dataset.