[论文解读] Dynamic Spatiotemporal Graph Neural Network with Tensor Network

Chengcheng Jia, Bo Wu+1 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Graph Neural Networks参考文献 11被引用 4

一句话总结

该论文提出了一种基于张量网络的动态时空图神经网络（DSTGNN），通过构建空间张量图（STG）和时间张量图（TTG）来建模时间序列数据中的动态时空相关性。通过使用投影纠缠对态（PEPS）联合优化这两个图，该方法利用低秩学习减少参数量，并在交通预测基准上实现了最先进性能，在METR-LA数据集上15分钟预测的MAPE达到4.43%。

ABSTRACT

Dynamic spatial graph construction is a challenge in graph neural network (GNN) for time series data problems. Although some adaptive graphs are conceivable, only a 2D graph is embedded in the network to reflect the current spatial relation, regardless of all the previous situations. In this work, we generate a spatial tensor graph (STG) to collect all the dynamic spatial relations, as well as a temporal tensor graph (TTG) to find the latent pattern along time at each node. These two tensor graphs share the same nodes and edges, which leading us to explore their entangled correlations by Projected Entangled Pair States (PEPS) to optimize the two graphs. We experimentally compare the accuracy and time costing with the state-of-the-art GNN based methods on the public traffic datasets.

研究动机与目标

• 为解决图神经网络中静态空间图在时间序列数据上的局限性，通过建模动态空间关系来改进。
• 通过构建节点特定的时间张量图（TTG），捕捉每个节点的潜在时间相关性。
• 通过张量网络联合优化空间图与时间图，以利用其纠缠相关性。
• 通过PEPS实现的低秩张量分解，降低模型参数量与计算复杂度。
• 提升时间序列预测性能，特别是在交通网络等动态环境中的表现。

提出的方法

• 构建空间张量图（STG）为三维张量 𝒜 ∈ ℝ^{N×N×T}，以编码随时间步变化的动态空间关系。
• 构建时间张量图（TTG）为三维张量 ℬ ∈ ℝ^{N×T×T}，通过时间序列模式的相似性对每个节点的时间依赖性进行建模。
• 使用Tucker分解实现空间/时间图卷积层（STGCL），在STG与TTG上执行高阶卷积操作。
• 利用投影纠缠对态（PEPS）对STG与TTG进行联合优化，通过低秩张量收缩实现参数压缩。
• 采用奇异值分解（SVD）与归一化（ReLU、SoftMax）在每个时间步细化动态图表示。
• 将PEPS作为预处理模块，提取STG与TTG之间的共享相关性，同时最小化参数数量。

实验结果

研究问题

• RQ1 与静态图相比，动态空间张量图（STG）是否能更好地捕捉时间序列中演变的空间依赖性？
• RQ2 节点级时间张量图（TTG）是否能有效建模如交通数据中的高峰时段循环等潜在时间模式？
• RQ3 通过PEPS对STG与TTG进行联合优化，是否能在降低参数量的同时提升模型性能？
• RQ4 所提出的DSTGNN框架与最先进图神经网络基线模型相比，在交通预测任务中表现如何？
• RQ5 基于张量网络的PEPS机制在时空建模中，对特征表示与泛化能力的增强程度如何？

主要发现

• 完整DSTGNN模型（含STG、TTG与PEPS）在METR-LA上15分钟预测的MAPE达到4.43%，优于所有基线模型。
• 仅引入TTG（无PEPS）即显著优于仅使用STG的模型，60分钟预测的MAPE从8.79%降至8.10%。
• 在STG+TTG基础上加入PEPS后，60分钟预测的MAPE从8.29%降至5.49%，证明了联合优化的有效性。
• 仅使用STG的DSTGNN变体性能劣于STGCN与Graph WaveNet，表明时间建模的必要性。
• PEPS模块通过挖掘STG与TTG之间的低秩相关性，有效减少了模型参数量，提升了效率。
• 模型在15分钟预测中实现2.75 MAE，优于Graph WaveNet（2.69 MAE）与ARIMA（3.99 MAE），证实其达到最先进性能。