[论文解读] Multivariate Time Series Forecasting with Latent Graph Inference

Victor García Satorras, Syama Sundar Rangapuram+1 more|arXiv (Cornell University)|Mar 7, 2022

Time Series Analysis and Forecasting被引用 11

一句话总结

本文提出了一种用于多元时间序列预测的模块化图神经网络框架，能够动态推断时间序列之间的潜在依赖关系。通过引入辅助节点构建二部图，将计算复杂度从 O(N²) 降低至 O(NK)，且精度损失极小，在多种数据集上，其准确率和效率均优于或匹配当前最先进方法。

ABSTRACT

This paper introduces a new approach for Multivariate Time Series forecasting that jointly infers and leverages relations among time series. Its modularity allows it to be integrated with current univariate methods. Our approach allows to trade-off accuracy and computational efficiency gradually via offering on one extreme inference of a potentially fully-connected graph or on another extreme a bipartite graph. In the potentially fully-connected case we consider all pair-wise interactions among time-series which yields the best forecasting accuracy. Conversely, the bipartite case leverages the dependency structure by inter-communicating the N time series through a small set of K auxiliary nodes that we introduce. This reduces the time and memory complexity w.r.t. previous graph inference methods from O(N^2) to O(NK) with a small trade-off in accuracy. We demonstrate the effectiveness of our model in a variety of datasets where both of its variants perform better or very competitively to previous graph inference methods in terms of forecasting accuracy and time efficiency.

研究动机与目标

• 解决在不依赖预定义图结构的前提下，对多元时间序列之间复杂非线性依赖关系进行建模的挑战。
• 降低图神经网络中全图推理带来的计算负担，后者随时间序列数量呈二次方增长。
• 通过模块化设计，实现与现有单变量预测模型的无缝集成。
• 通过允许全连接图与二部图结构之间的连续权衡，实现预测准确率与计算效率的平衡。
• 验证动态、时变图结构推理在捕捉随时间演化的序列间关系方面的有效性。

提出的方法

• 提出一种动态潜在图结构推理机制，在推理过程中学习时间序列嵌入之间的依赖关系，而非依赖于固定的邻接矩阵。
• 提出两种变体：一种为全连接图（FC-GNN），用于实现最大准确率；另一种为使用 K 个辅助节点的二部图（BP-GNN），以降低计算复杂度。
• 在图神经网络中采用消息传递机制，实现时间序列间的信息传播，并利用注意力机制或可学习权重来确定边的重要性。
• 根据输入的时间步动态构建潜在图，实现对时变依赖关系的灵活建模。
• 通过将交互限制在 N 个原始序列与 K 个辅助节点之间，将计算复杂度从 O(N²) 降低至 O(NK)，其中 K ≪ N。
• 将图组件作为即插即用模块集成到现有单变量预测模型（如 DeepAR）中，以提升性能。

实验结果

研究问题

• RQ1 动态潜在图结构推理是否能在无需预定义邻接矩阵的前提下，提升多元时间序列预测的准确率？
• RQ2 引入辅助节点的二部图结构在计算效率与预测准确率之间如何权衡？
• RQ3 该模型在具有不同依赖结构（如循环依赖或聚类依赖）的多样化数据集上，其泛化能力如何？
• RQ4 辅助节点数量（K）对模型性能与可扩展性有何影响？
• RQ5 该模型能否在真实世界与合成数据中有效推断并适应随时间变化的序列间关系？

主要发现

• 全连接图变体（FC-GNN）在合成数据集上实现了最低的 MAE，且在循环图与相关正弦图中完美恢复了真实邻接矩阵。
• 使用 K=4 个辅助节点的二部图变体（BP-GNN）在密集图上实现了与 FC-GNN 相当的预测准确率，并显著优于非学习图基线方法（NE-GNN）。
• 在 METR-LA 交通预测数据集中，BP-GNN 在保持竞争力准确率的同时，相比 FC-GNN 显著减少了前向传播时间与边数，尤其在 N 增大时优势更明显。
• 增加 K 值可提升稀疏图（如循环图）上的性能，但当 K 值较小时增益即趋于饱和，表明在低 K 值下即可实现有利的性能-复杂度权衡。
• 模型展现出动态图结构推理行为，学习得到的邻接矩阵随时间变化，证实其对依赖关系变化的适应能力。
• 可扩展性分析表明，BP-GNN 将边数从 O(N²) 降低至 O(NK)，且前向传播时间随 N 呈线性增长，而 FC-GNN 则呈现二次方增长。