[论文解读] Modeling Complex Spatial Patterns with Temporal Features via Heterogenous Graph Embedding Networks.

Yida Huang, Haoyan Xu+5 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Graph Neural Networks参考文献 27被引用 1

一句话总结

本文提出MTHetGNN，一种新颖的端到端深度学习模型，通过异构图神经网络联合建模多变量时间序列（MTS）变量之间的动态与静态关系及其时间依赖性。通过整合关系嵌入模块和多尺度CNN进行节点特征学习，MTHetGNN在三个真实世界的MTS预测基准上实现了最先进性能。

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. Variables in MTS have rich relations among each other and the value of each variable in MTS depends both on its historical values and on other variables. These rich relations can be static and predictable or dynamic and latent. Existing methods do not incorporate these rich relational information into modeling or only model certain relation among MTS variables. To jointly model rich relations among variables and temporal dependencies within the time series, a novel end-to-end deep learning model, termed Multivariate Time Series Forecasting via Heterogenous Graph Neural Networks (MTHetGNN) is proposed in this paper. To characterize rich relations among variables, a relation embedding module is introduced in our model, where each variable is regarded as a graph node and each type of edge represents a specific relationship among variables or one specific dynamic update strategy to model the latent dependency among variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, heterogenous graph neural networks are adopted to handle the complex structural information generated by temporal embedding module and relation embedding module. Three benchmark datasets from the real world are used to evaluate the proposed MTHetGNN and the comprehensive experiments show that MTHetGNN achieves state-of-the-art results in MTS forecasting task.

研究动机与目标

• 为解决现有MTS预测模型无法联合建模变量之间丰富、动态和静态关系的局限性。
• 将MTS变量之间的显式与潜在依赖关系整合到统一的深度学习框架中。
• 通过编码多样化关系信息的异构图结构，提升预测准确性。
• 利用多尺度CNN滤波器有效建模时间依赖性，实现时间序列特征提取。
• 开发一个端到端框架，整合关系建模与时间依赖性建模，以实现更优的预测性能。

提出的方法

• 将MTS中的每个变量建模为异构图中的一个节点，不同类型的边代表不同种类的关系或动态更新策略。
• 关系嵌入模块学习这些多样化关系类型的表征，使模型能够捕捉变量之间的静态与潜在依赖关系。
• 对每个变量的时间序列应用多尺度CNN滤波器，以提取时间特征并生成初始节点表征。
• 采用异构图神经网络（H-GNNs）在图中聚合与传播信息，从时间与关系模块中捕捉复杂结构依赖性。
• 模型端到端训练，以优化未来时间步的预测性能。
• 时间特征提取与关系图学习的融合，实现了变量间关系与时间动态的联合建模。

实验结果

研究问题

• RQ1 如何在深度学习框架中有效建模MTS变量之间的动态与静态关系？
• RQ2 异构图神经网络在捕捉复杂关系结构方面，能在多大程度上提升MTS预测性能？
• RQ3 多尺度时间特征提取能否增强变量在关系上下文中的表征能力？
• RQ4 与现有方法相比，联合建模时间依赖性与变量间关系对预测准确率的影响如何？
• RQ5 所提出的MTHetGNN模型是否在多样化的现实世界MTS数据集上均达到最先进性能？

主要发现

• MTHetGNN在三个真实世界的多变量时间序列预测基准上实现了最先进性能。
• 异构图神经网络的集成有效实现了MTS变量之间静态与动态关系的建模。
• 多尺度CNN滤波器的使用提升了时间特征提取效果，从而增强了预测准确性。
• 关系嵌入模块成功捕捉了变量之间多样化的依赖类型，包括潜在与动态依赖。
• 实证结果表明，联合建模时间与关系结构相比现有方法显著提升了性能。
• 模型的端到端训练策略有效学习到在不同MTS数据集上具有良好泛化能力的表征。