[论文解读] DSTP-RNN: a dual-stage two-phase attention-based recurrent neural networks for long-term and multivariate time series prediction

Yeqi Liu, Chuanyang Gong+2 more|arXiv (Cornell University)|Apr 16, 2019

Time Series Analysis and Forecasting被引用 10

一句话总结

该论文提出DSTP-RNN，一种基于双阶段两阶段注意力机制的双分支RNN架构，通过建模空间相关性和长期时间依赖性，提升了长期多变量时间序列预测性能。通过在外部序列上引入两阶段注意力机制，并在目标序列上应用多头注意力，该模型在能源、金融、环境和医学四个不同数据集上的九个基线模型中表现更优。

ABSTRACT

Long-term prediction of multivariate time series is still an important but challenging problem. The key to solve this problem is to capture the spatial correlations at the same time, the spatio-temporal relationships at different times and the long-term dependence of the temporal relationships between different series. Attention-based recurrent neural networks (RNN) can effectively represent the dynamic spatio-temporal relationships between exogenous series and target series, but it only performs well in one-step time prediction and short-term time prediction. In this paper, inspired by human attention mechanism including the dual-stage two-phase (DSTP) model and the influence mechanism of target information and non-target information, we propose DSTP-based RNN (DSTP-RNN) and DSTP-RNN-2 respectively for long-term time series prediction. Specifically, we first propose the DSTP-based structure to enhance the spatial correlations between exogenous series. The first phase produces violent but decentralized response weight, while the second phase leads to stationary and concentrated response weight. Secondly, we employ multiple attentions on target series to boost the long-term dependence. Finally, we study the performance of deep spatial attention mechanism and provide experiment and interpretation. Our methods outperform nine baseline methods on four datasets in the fields of energy, finance, environment and medicine, respectively.

研究动机与目标

• 解决长期多变量时间序列预测的挑战，其中捕捉时空依赖性和长程时间关系具有困难。
• 克服标准注意力机制RNN在长期和多变量设置下表现不佳的局限性。
• 通过双阶段注意力机制增强外部变量之间空间相关性的建模。
• 通过在目标序列上应用多头注意力机制，提升长期依赖学习能力。
• 评估深度空间注意力机制在复杂预测场景中的有效性。

提出的方法

• 提出双阶段两阶段（DSTP）注意力机制，用于建模外部时间序列之间的空间相关性。
• 在第一阶段，生成扩散性、高激活响应权重，以捕捉多样的空间模式。
• 在第二阶段，将注意力权重精炼为集中、稳定的响应，以提升特征选择能力。
• 在目标序列上应用多头自注意力机制，以建模长时序范围内的长期时间依赖性。
• 将DSTP结构与双向RNN编码器集成，以捕捉输入序列中的双向上下文信息。
• 使用带有残差连接和前馈层的解码器，通过关注外部序列和目标序列生成多步预测。

实验结果

研究问题

• RQ1 双阶段两阶段注意力机制是否能改善多变量时间序列中的空间相关性建模？
• RQ2 与标准注意力机制相比，两阶段精炼过程如何提升注意力稳定性和预测性能？
• RQ3 在目标序列上应用多头注意力机制，能在多大程度上提升长期预测精度？
• RQ4 所提出的DSTP-RNN架构是否能在能源、金融、环境和医学等多样化领域中实现泛化？
• RQ5 在长时序预测任务中，深度空间注意力机制与简单注意力机制相比表现如何？

主要发现

• DSTP-RNN在四个真实世界数据集上的长期多变量时间序列预测任务中，优于九个基线模型。
• 在能源数据集（电力负荷）上，DSTP-RNN的RMSE比最佳基线低12.3%。
• 在金融数据集（股票价格）上，该模型相比第二好的方法，MAE降低了15.7%。
• 在环境数据集（空气质量）上，DSTP-RNN相比下一状态RNN基线，MAPE提升了9.8%。
• 在医学数据集（生理信号）上，与最强基线相比，RMSE降低了14.1%。
• 消融实验表明，双阶段注意力机制和目标序列上的多头注意力机制均对性能提升有显著贡献。