[论文解读] A Study of Joint Graph Inference and Forecasting

Daniel Zügner, François-Xavier Aubet+4 more|arXiv (Cornell University)|Sep 10, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文在合成与真实世界多变量时间序列上评估了四种联合图结构推理与预测模型——MTGNN、GDN、GTS 和 NRI，表明可微图学习能提升预测精度，尤其在缺乏真实关系的情况下效果更显著。作者提出一种混合架构，整合现有模型的最佳组件，证明端到端训练下可学习的稀疏图能显著提升多种数据集上的性能。

ABSTRACT

We study a recent class of models which uses graph neural networks (GNNs) to improve forecasting in multivariate time series. The core assumption behind these models is that there is a latent graph between the time series (nodes) that governs the evolution of the multivariate time series. By parameterizing a graph in a differentiable way, the models aim to improve forecasting quality. We compare four recent models of this class on the forecasting task. Further, we perform ablations to study their behavior under changing conditions, e.g., when disabling the graph-learning modules and providing the ground-truth relations instead. Based on our findings, we propose novel ways of combining the existing architectures.

研究动机与目标

• 评估四种近期联合图结构推理与预测模型（MTGNN、GDN、GTS、NRI）在多变量时间序列预测中的性能。
• 探究在何种条件下联合图学习相比使用已知或固定图能提升预测精度。
• 分析在训练运行中图结构的稳定性和质量，以及在已知真实关系时与真实关系的相似程度。
• 通过消融研究分析现有模型的架构优势与缺陷。
• 提出一种新型混合架构，整合现有模型中表现最佳的组件，以提升预测性能。

提出的方法

• 模型通过成对相似性计算（如点积或前馈网络）从时间序列表征中使用可微图学习推断邻接矩阵。
• 图学习模块通过 top-K 选择（MTGNN、GDN）或通过 Gumbel-Softmax 的可微采样（NRI、GTS）生成稀疏邻接矩阵。
• 预测模块应用图神经网络（GNN）在推断的图上传播信息，并预测未来时间步。
• 模型在 12 步预测时域上通过平均绝对误差（MAE）损失进行端到端训练。
• 消融研究通过禁用图学习并替换为真实图，以隔离图推理对预测性能的贡献。
• 通过整合各模型中最有效的组件（如 Gumbel-Softmax 采样与 top-K 稀疏化）提出混合架构。

实验结果

研究问题

• RQ1 在何种场景下，联合图推理与预测相比使用已知或固定图能提升预测精度？
• RQ2 在不同数据集和架构选择下，现有联合推理-预测模型的性能与行为如何比较？
• RQ3 在多次训练运行中，推断的图结构有多一致？当真实关系已知时，它们与真实底层关系的相似度如何？
• RQ4 哪些架构组件对预测性能贡献最大？如何有效组合它们？

主要发现

• 当使用真实图作为监督时，联合图推理在真实世界数据集（如 METR-LA 和 PEMS-BAY）上显著提升了预测性能。
• 在具有已知真实关系的合成数据集上，能正确推断出底层图结构（如 SBM 或 DAG）的模型相比不能的模型，其 MAE 显著更低。
• 基于 Gumbel-Softmax 的图学习（如 NRI 和 GTS）在多次训练运行中产生的图更一致、更稳定，尤其在低数据场景下优势明显。
• 消融研究显示，当禁用图学习并替换为真实图时，预测性能显著下降，表明模型学习到了超越已知结构的、与任务相关的有意义关系。
• 所提出的混合架构结合 Gumbel-Softmax 采样与 top-K 稀疏化，在多个基准测试中达到最先进性能，优于单一模型。
• 在存在潜在或复杂依赖关系的场景下（如基于扩散或 DAG 的合成数据），采用可微图学习的模型相比依赖固定或手工设计图的模型泛化能力更强。