[论文解读] Graph Attention Recurrent Neural Networks for Correlated Time Series Forecasting -- Full version

Razvan-Gabriel Cirstea, Chenjuan Guo+1 more|arXiv (Cornell University)|Mar 19, 2021

Time Series Analysis and Forecasting参考文献 36被引用 4

一句话总结

本文提出图注意力循环神经网络（GA-RNNs），通过在基于空间邻近性的图上使用多头注意力机制，学习动态自适应邻接矩阵，以改进相关时间序列的预测。该方法将时变注意力权重整合到RNN中，以建模不断演变的时空依赖关系，在真实世界交通速度数据的短期预测中显著优于最先进方法。

ABSTRACT

We consider a setting where multiple entities inter-act with each other over time and the time-varying statuses of the entities are represented as multiple correlated time series. For example, speed sensors are deployed in different locations in a road network, where the speed of a specific location across time is captured by the corresponding sensor as a time series, resulting in multiple speed time series from different locations, which are often correlated. To enable accurate forecasting on correlated time series, we proposes graph attention recurrent neural networks.First, we build a graph among different entities by taking into account spatial proximity and employ a multi-head attention mechanism to derive adaptive weight matrices for the graph to capture the correlations among vertices (e.g., speeds at different locations) at different timestamps. Second, we employ recurrent neural networks to take into account temporal dependency while taking into account the adaptive weight matrices learned from the first step to consider the correlations among time series.Experiments on a large real-world speed time series data set suggest that the proposed method is effective and outperforms the state-of-the-art in most settings. This manuscript provides a full version of a workshop paper [1].

研究动机与目标

• 解决静态图结构在建模相关时间序列之间动态时空相关性方面的局限性。
• 通过捕捉实体之间的动态交互，提升复杂网络物理系统（如智能交通系统）中的预测精度。
• 开发一种通用框架，将自适应注意力机制生成的邻接矩阵与基于图的RNN结合，以增强时空建模能力。
• 通过在RNN架构中用注意力生成的时变邻接矩阵替代固定邻接矩阵，实现更鲁棒、更精确的预测。

提出的方法

• 基于实体（如速度传感器）之间的空间邻近性构建图，顶点表示实体，边连接相邻实体。
• 在图上应用多头自注意力机制，学习注意力矩阵，以在每个时间戳自适应地分配邻近顶点的重要性。
• 将学习到的注意力矩阵替换基于图的RNN中的静态邻接矩阵，从而生成反映动态演变相关性的时变邻接矩阵。
• 修改循环神经网络（如GRU或LSTM），通过图卷积或扩散卷积操作，整合这些自适应邻接矩阵。
• 端到端训练模型，利用L个时间戳的历史数据，预测P步时间窗口内的未来时间序列值。
• 该方法具有通用性，可与任何依赖邻接矩阵的图卷积方法（如GCN或DCNN）集成。

实验结果

研究问题

• RQ1 注意力机制能否在图结构设置下有效学习相关时间序列之间的动态时变关系？
• RQ2 将静态邻接矩阵替换为由注意力生成的自适应邻接矩阵，对基于RNN模型的预测性能有何提升作用？
• RQ3 所提方法在短期与长期相关时间序列预测中，相较于最先进模型的性能提升程度如何？
• RQ4 注意力机制能否捕捉到反映现实世界动态（如道路间交通拥堵传播）的有意义、上下文相关的交互关系？

主要发现

• 所提出的GA-RNN模型在大规模真实世界交通速度数据集上优于最先进方法，尤其在短期预测任务中表现突出。
• 将图注意力与RNN结合，通过捕捉时间序列之间的动态演化相关性，显著提升了预测精度。
• 注意力机制引入了额外计算开销，推理时间约为401秒，高于基线GCRNN的350秒。
• 该模型在建模真实系统中复杂非线性时空依赖关系方面表现出强鲁棒性与泛化能力。
• 使用自适应邻接矩阵显著优于使用固定预计算图的模型，凸显了动态交互建模的重要性。