[论文解读] Dynamic Graph Learning-Neural Network for Multivariate Time Series Modeling

Zhuoling Li, Gaowei Zhang+2 more|arXiv (Cornell University)|Dec 6, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出SDGL，一种动态图学习-神经网络，通过从数据中学习静态（长期）和动态（短期）图结构，对多变量时间序列进行建模。通过门控机制融合节点特征与学习到的静态图，并结合多头邻接模块，SDGL能够捕捉动态演变的时空依赖关系，在交通数据集和基准时间序列数据集上均实现了最先进性能。

ABSTRACT

Multivariate time series forecasting is a challenging task because the data involves a mixture of long- and short-term patterns, with dynamic spatio-temporal dependencies among variables. Existing graph neural networks (GNN) typically model multivariate relationships with a pre-defined spatial graph or learned fixed adjacency graph. It limits the application of GNN and fails to handle the above challenges. In this paper, we propose a novel framework, namely static- and dynamic-graph learning-neural network (SDGL). The model acquires static and dynamic graph matrices from data to model long- and short-term patterns respectively. Static matric is developed to capture the fixed long-term association pattern via node embeddings, and we leverage graph regularity for controlling the quality of the learned static graph. To capture dynamic dependencies among variables, we propose dynamic graphs learning method to generate time-varying matrices based on changing node features and static node embeddings. And in the method, we integrate the learned static graph information as inductive bias to construct dynamic graphs and local spatio-temporal patterns better. Extensive experiments are conducted on two traffic datasets with extra structural information and four time series datasets, which show that our approach achieves state-of-the-art performance on almost all datasets. If the paper is accepted, I will open the source code on github.

研究动机与目标

• 解决多变量时间序列中混合长期与短期模式建模的挑战。
• 克服现有图神经网络中固定或预定义图结构的局限性，这些结构无法捕捉动态依赖关系。
• 构建一个能够同时学习稳定长期关系与随时间变化的短期交互关系的框架。
• 将静态图结构作为归纳偏置引入动态图学习，以改善对局部时空变化的建模。
• 在真实多变量时间序列中不依赖先验图结构的情况下，实现卓越的预测性能。

提出的方法

• 从节点嵌入中学习静态图矩阵，以捕捉固定的长期依赖关系，并通过图正则化确保结构质量。
• 利用时变节点特征与静态图嵌入构建动态图，实现对短期交互关系的时变建模。
• 采用门控机制将动态节点输入与静态图信息融合，增强对演化依赖关系的表征学习。
• 使用多头邻接机制，高效提取并建模动态图中变量之间的关联关系。
• 将静态图结构作为归纳偏置整合到动态图学习中，确保动态图围绕长期模式波动。
• 应用图正则化以在训练过程中稳定并提升所学习静态图的质量。

实验结果

研究问题

• RQ1 如何使多变量时间序列模型有效捕捉长期与短期时间模式？
• RQ2 当变量间关系随时间演变时，动态图学习能否提升预测精度？
• RQ3 将静态图结构作为归纳偏置引入，如何增强对动态依赖关系的学习？
• RQ4 各组件（如动态图学习、信息融合、正则化）对整体模型性能的贡献是什么？
• RQ5 能否在不依赖预定义或手工设计图结构的情况下，使图学习框架实现最先进性能？

主要发现

• SDGL在交通数据集（PeMSD4 和 PeMSD8）以及四个基准时间序列数据集上均实现了最先进性能，多数情况下优于现有方法。
• 消融实验表明，若移除动态图学习层，性能显著下降，尤其在长时预测（如60分钟预测）中更为明显。
• 信息融合模块（IFM）至关重要：当仅使用动态输入时，性能显著下降，凸显整合长期模式的重要性。
• 图正则化提升了静态图质量，尽管SDGL在无正则化时仍优于AGCNR等强基线模型，表明该框架具有内在鲁棒性。
• 可视化结果表明，动态图学习到的短期模式与预定义图结构接近，且在不同时间点均出现相似的高权重边。
• 动态图矩阵在短时间跨度内表现出高度相似性，证实模型捕捉到了随时间缓慢演变的稳定短期依赖关系。