[论文解读] Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting

Ling Chen, Donghui Chen+5 more|arXiv (Cornell University)|Jan 13, 2022

Time Series Analysis and Forecasting被引用 9

一句话总结

该论文提出了一种多尺度自适应图神经网络（MAGNN），这是一种新颖的多变量时间序列预测框架，通过自适应图学习模块和分尺度融合机制，联合建模多尺度时间模式与特定尺度的变量间依赖关系。MAGNN在六个真实世界数据集上优于最先进方法，实现了更高的预测精度，同时保持高效的计算性能。

ABSTRACT

Multivariate time series (MTS) forecasting plays an important role in the automation and optimization of intelligent applications. It is a challenging task, as we need to consider both complex intra-variable dependencies and inter-variable dependencies. Existing works only learn temporal patterns with the help of single inter-variable dependencies. However, there are multi-scale temporal patterns in many real-world MTS. Single inter-variable dependencies make the model prefer to learn one type of prominent and shared temporal patterns. In this paper, we propose a multi-scale adaptive graph neural network (MAGNN) to address the above issue. MAGNN exploits a multi-scale pyramid network to preserve the underlying temporal dependencies at different time scales. Since the inter-variable dependencies may be different under distinct time scales, an adaptive graph learning module is designed to infer the scale-specific inter-variable dependencies without pre-defined priors. Given the multi-scale feature representations and scale-specific inter-variable dependencies, a multi-scale temporal graph neural network is introduced to jointly model intra-variable dependencies and inter-variable dependencies. After that, we develop a scale-wise fusion module to effectively promote the collaboration across different time scales, and automatically capture the importance of contributed temporal patterns. Experiments on four real-world datasets demonstrate that MAGNN outperforms the state-of-the-art methods across various settings.

研究动机与目标

• 解决现有模型在多变量时间序列预测中仅关注单尺度时间模式和共享变量间依赖关系的局限性。
• 捕捉真实世界时间序列数据中固有的复杂多尺度时间动态（例如，每日、每周模式）。
• 在不依赖预定义先验知识的前提下，学习特定时间尺度的变量间依赖关系，从而更准确地建模不同时间尺度下的变量相互作用。
• 通过多尺度图神经网络，联合建模跨多个时间尺度的变量内时间依赖关系与变量间依赖关系。
• 开发一种分尺度融合机制，自动捕捉不同时间模式的重要性，并促进跨尺度协作。

提出的方法

• 使用多尺度金字塔网络提取不同时间尺度下的分层时间表示，以保留多样的时间模式。
• 自适应图学习模块推断特定时间尺度的邻接矩阵，以建模随时间尺度变化的变量间依赖关系，无需预定义图结构。
• 多尺度时间图神经网络通过在多个尺度上处理特征，整合变量内与变量间依赖关系。
• 分尺度融合模块使用可学习权重聚合来自不同时间尺度的表示，实现对各尺度重要性的动态分配。
• 采用结合重构与预测目标的多任务损失函数进行端到端训练，以优化预测精度。

实验结果

研究问题

• RQ1 如何使深度学习模型有效捕捉多变量时间序列中的多尺度时间模式（例如，每日、每周模式）？
• RQ2 变量间依赖关系能否在不同时间尺度上实现动态自适应，以提升预测性能？
• RQ3 如何在多个时间尺度上联合建模变量内与变量间依赖关系？
• RQ4 如何最优地融合多尺度表示以提升预测精度？
• RQ5 所提出的自适应图学习机制与固定或共享邻接矩阵相比，在真实世界预测任务中表现如何？

主要发现

• MAGNN在六个真实世界数据集上表现最佳，平均RSE为0.4097，平均CORR为0.8992，优于包括LSTNet、TPA-LSTM和MTGNN在内的最先进方法。
• 采用自适应图学习模块的模型（MAGNN-att）相比基线MAGNN-pooling变体，CORR提升2.5%，RSE降低1.5%。
• 消融实验证实，多尺度金字塔结构与分尺度融合组件至关重要，最佳性能在卷积通道数为32、邻居数为40时达到。
• 与TPA-LSTM和MTGNN相比，MAGNN计算成本更低，在Traffic数据集上的总训练时间仅为1.55小时，而后者分别为8.71小时和4.86小时。
• 该模型在多种数据类型（包括交通、能源和电力消耗）中表现出强鲁棒性，表明其具有优异的泛化能力。
• 超参数分析表明，通道数与邻居数均显著影响性能，最优值分别为32和40。