[论文解读] Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

Zonghan Wu, Shirui Pan+4 more|arXiv (Cornell University)|May 24, 2020

Time Series Analysis and Forecasting参考文献 25被引用 114

一句话总结

MTGNN 自动学习变量之间的潜在有向关系，并联合训练图学习、图卷积和时序卷积模块，端到端地预测多变量时间序列。

ABSTRACT

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it is fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information.

研究动机与目标

• 激发/解决充分利用时间序列变量之间潜在相互依赖性的需求。
• 开发一个通用的图神经网络框架，既能处理带有预定义图的，也能处理没有预定义图的多变量时间序列。
• 在端到端的方式下，与预测模型共同学习稀疏的单向图结构。
• 通过图卷积捕捉空间依赖，通过时序卷积捕捉时间依赖。
• 在基准数据集上提升相对于最先进基线的预测准确性。

提出的方法

• 提出 MTGNN，包含三大核心组件：一个自适应学习稀疏单向邻接矩阵的图学习层；融合空间信息的图卷积模块；以及具有扩张 inception 设计的时序卷积模块，以捕捉长程时间模式。
• 使用混合跳传播层从多邻域跳聚合信息，同时保留节点原始状态的一部分以对抗过平滑。
• 采用基于扩张 inception 层的时序卷积模块（内核大小为 1x2、1x3、1x6、1x7）以捕捉多频率时间模式和长序列。
• 交错图卷积和时序卷积，配合残差和跳跃连接以稳定训练并实现端到端学习。
• 引入一个课程学习策略，按逐步增长的预测时间步训练，以及一个子图采样方案以应对大图并降低内存使用。

实验结果

研究问题

• RQ1 是否可以从缺乏显式图结构的多变量时间序列中发现一个可学习、稀疏且单向的图结构？
• RQ2 端到端联合学习图结构和 MTGNN 相较于使用预定义图或无图的方法，是否能提升预测准确性？
• RQ3 图卷积与时序卷积模块在捕捉时空依赖方面如何互相补充？
• RQ4 课程学习和子图采样是否能稳定训练并实现对更大图的扩展？
• RQ5 在标准多变量时间序列数据集上，MTGNN 相对于最先进基线的表现如何？

主要发现

• MTGNN 在4个基准数据集中的3个上，单步预测表现优于最先进的基线。
• 在提供额外结构信息的两个交通数据集上，MTGNN 的表现与其他基于 GNN 的方法媲美。
• 一个可学习的图学习层产生一个不对称的稀疏邻接矩阵，适用于有向关系。
• 混合跳传播层和扩张 inception 时序模块在有效捕捉空间和时间依赖的同时，减轻过平滑并实现长程预测。