[论文解读] Sparse Graph Learning from Spatiotemporal Time Series

Andrea Cini, Daniele Zambon+1 more|arXiv (Cornell University)|May 26, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

该论文提出了一种基于分数的、概率性的框架，通过将图邻接矩阵建模为稀疏图上的离散分布，从时空时间序列中学习稀疏、结构化的图。通过利用方差减少的梯度估计方法，该方法实现了端到端可微的图学习，在保持计算效率和稀疏性的同时最大化预测性能，实现在合成数据和真实世界基准上的最先进结果。

ABSTRACT

Outstanding achievements of graph neural networks for spatiotemporal time series analysis show that relational constraints introduce an effective inductive bias into neural forecasting architectures. Often, however, the relational information characterizing the underlying data-generating process is unavailable and the practitioner is left with the problem of inferring from data which relational graph to use in the subsequent processing stages. We propose novel, principled - yet practical - probabilistic score-based methods that learn the relational dependencies as distributions over graphs while maximizing end-to-end the performance at task. The proposed graph learning framework is based on consolidated variance reduction techniques for Monte Carlo score-based gradient estimation, is theoretically grounded, and, as we show, effective in practice. In this paper, we focus on the time series forecasting problem and show that, by tailoring the gradient estimators to the graph learning problem, we are able to achieve state-of-the-art performance while controlling the sparsity of the learned graph and the computational scalability. We empirically assess the effectiveness of the proposed method on synthetic and real-world benchmarks, showing that the proposed solution can be used as a stand-alone graph identification procedure as well as a graph learning component of an end-to-end forecasting architecture.

研究动机与目标

• 解决在无先验图的情况下，从时空时间序列中学习有意义关系结构的挑战。
• 开发一种可微的、概率性的图学习框架，生成适合图神经网络中高效消息传递的稀疏图。
• 通过合理的梯度估计，平衡高预测性能、计算可扩展性与结构归纳偏差。
• 通过联合优化图结构与预测性能，实现图条件预测模型的端到端训练。

提出的方法

• 该方法将邻接矩阵建模为从参数化分布 $\bm{p}_\theta$ 中抽取的离散随机变量，从而实现概率性图生成。
• 采用带方差减少技术的基于分数的梯度估计，以反向传播通过离散采样过程，实现端到端训练。
• 框架使用软Top-K选择机制（SNS）来采样稀疏图，仅保留得分最高的 $K$ 条边。
• 通过最小化采样图上的期望损失，使图生成器在下游预测性能上最大化。
• 该方法引入温度控制采样和得分的软裁剪，以稳定训练并提升梯度质量。
• 支持独立的图识别以及与端到端预测架构（如具有消息传递层的图神经网络模型）的集成。

实验结果

研究问题

• RQ1 在缺乏拓扑先验信息的情况下，可微的、概率性框架能否从时空时间序列中学习到稀疏且有意义的图？
• RQ2 如何实现对离散图结构的精确梯度估计，以支持高效、稀疏图神经网络的推理？
• RQ3 与固定图或学习图相比，端到端图学习在多大程度上提升了预测性能？
• RQ4 所提出的方法能否在保持计算效率的同时，在真实世界的时空预测任务中实现最先进性能？
• RQ5 在稀疏性和预测准确性方面，所学图结构与注意力机制或其他基线方法推断出的图结构相比如何？

主要发现

• 所提方法在合成和真实世界基准数据集（包括空气质量指数AQI和交通数据）的多步预测任务中均达到最先进性能。
• 在 PEMS-BAY 数据集上，该方法优于强基线模型（如 GTS 和 Satorras et al. (2022)），RMSE 低至 2.48，优于次优方法的 2.56。
• 所学图始终保持稀疏，SNS 模块能有效选择最相关的 $K$ 条边，从而支持图神经网络中的高效消息传递。
• 该方法在不同架构和数据集上表现出鲁棒性，在作为端到端模型中图学习组件时，持续提升预测准确性。
• 消融研究证实，方差减少和正确的梯度估计对训练稳定性和高性能至关重要。
• 该框架成功学习到可解释的、任务优化的图结构，其能反映数据中真实的底层依赖关系，已在具有已知真实图的合成数据上得到验证。