[论文解读] Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks

Guokun Lai, Wei-Cheng Chang+2 more|arXiv (Cornell University)|Mar 21, 2017

Time Series Analysis and Forecasting参考文献 26被引用 25

一句话总结

本文提出LSTNet，一种深度学习框架，结合卷积神经网络（CNN）以提取短期模式，循环神经网络（RNN）以建模长期依赖关系，并引入自回归（AR）组件以处理与尺度无关的预测。LSTNet通过有效捕捉真实世界数据（如交通、太阳能和电能消耗）中的每日和每周重复模式，在多变量时间序列预测任务中达到最先进性能。

ABSTRACT

Multivariate time series forecasting is an important machine learning problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. Temporal data arise in these real-world applications often involves a mixture of long-term and short-term patterns, for which traditional approaches such as Autoregressive models and Gaussian Process may fail. In this paper, we proposed a novel deep learning framework, namely Long- and Short-term Time-series network (LSTNet), to address this open challenge. LSTNet uses the Convolution Neural Network (CNN) and the Recurrent Neural Network (RNN) to extract short-term local dependency patterns among variables and to discover long-term patterns for time series trends. Furthermore, we leverage traditional autoregressive model to tackle the scale insensitive problem of the neural network model. In our evaluation on real-world data with complex mixtures of repetitive patterns, LSTNet achieved significant performance improvements over that of several state-of-the-art baseline methods. All the data and experiment codes are available online.

研究动机与目标

• 解决包含混合短期和长期重复模式的多变量时间序列预测挑战。
• 克服传统自回归模型和高斯过程模型在捕捉局部与全局时间依赖关系方面的局限性。
• 设计一种深度学习架构，整合CNN用于局部模式提取，RNN用于长期趋势建模，AR组件用于尺度不变预测。
• 在具有复杂时间动态的现实世界数据集（包括交通、太阳能和电能消耗）上展示稳健性能。
• 提供开源代码和数据，以支持时间序列预测的可复现性与进一步研究。

提出的方法

• 利用一维卷积层从多变量时间序列中提取局部、平移不变的模式（“形状子”），捕捉变量间的短期依赖关系。
• 使用门控循环单元（GRU）或LSTM层对时间序列数据中的长期时间依赖关系和趋势进行建模。
• 集成一个自回归（AR）组件，用于建模RNN输出的残差误差，提升对尺度波动的鲁棒性并增强泛化能力。
• 在RNN层中引入跳跃连接机制（跳跃循环单元），使网络能够直接关注遥远的过去时间步，从而改善长距离依赖关系的学习。
• 使用按时间顺序划分的训练集，通过均方误差（MSE）损失端到端训练模型，超参数在验证集上进行调优。
• 使用向下取整函数建模周期性高斯噪声，其基础周期为T，以模拟由节假日或天气等因素引起的真实世界时间序列中的尺度变化。

实验结果

研究问题

• RQ1 深度学习模型能否有效捕捉多变量时间序列中的短期局部模式与长期全局趋势？
• RQ2 将CNN、RNN与自回归组件结合，相较于独立模型，能否显著提升预测准确性？
• RQ3 LSTNet在多大程度上能够建模真实世界时间序列中混合的周期性模式（如日周期与周周期）？
• RQ4 引入自回归组件是否能增强模型对时间序列数据中尺度变化的鲁棒性？
• RQ5 在具有复杂时间动态的多样化现实世界数据集上，LSTNet相较于最先进基线模型表现如何？

主要发现

• LSTNet在Solar-Energy、Traffic和Electricity数据集上显著优于最先进基线模型，包括VAR、RNN-GRU及其他混合模型。
• 在Traffic数据集上，LSTNet成功捕捉了每日和每周模式，而VAR模型无法区分工作日与周末模式。
• 消融实验表明，移除AR组件（LSTw/oAR）会导致在存在尺度变化的测试数据上泛化性能差，证实AR模块在处理尺度无关预测中的关键作用。
• 与RNN-GRU相比，LSTNet在存在尺度波动的测试数据上拟合效果更优，后者无法适应振幅变化，凸显AR组件的重要性。
• 跳跃循环机制通过使RNN能够直接关注遥远时间步，提升了性能，增强了长距离依赖关系建模能力。
• 实证结果表明，LSTNet在所有数据集上的RMSE均低于所有基线模型，且在多次评估中表现出统计显著的改进。