[论文解读] DiffSTG: Probabilistic Spatio-Temporal Graph Forecasting with Denoising Diffusion Models

Haomin Wen, Youfang Lin+5 more|arXiv (Cornell University)|Jan 31, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 DiffSTG，首个用于时空图（STG）预测的去噪扩散概率模型，通过集成一种新型 UGnet 去噪网络，捕捉多尺度的时间与空间依赖关系。通过实现非自回归、不确定性感知的预测，DiffSTG 在三个真实世界数据集上将 CRPS 降低 4%-14%，RMSE 降低 2%-7%，显著提升了概率预测的准确性和效率。

ABSTRACT

Spatio-temporal graph neural networks (STGNN) have emerged as the dominant model for spatio-temporal graph (STG) forecasting. Despite their success, they fail to model intrinsic uncertainties within STG data, which cripples their practicality in downstream tasks for decision-making. To this end, this paper focuses on probabilistic STG forecasting, which is challenging due to the difficulty in modeling uncertainties and complex ST dependencies. In this study, we present the first attempt to generalize the popular denoising diffusion probabilistic models to STGs, leading to a novel non-autoregressive framework called DiffSTG, along with the first denoising network UGnet for STG in the framework. Our approach combines the spatio-temporal learning capabilities of STGNNs with the uncertainty measurements of diffusion models. Extensive experiments validate that DiffSTG reduces the Continuous Ranked Probability Score (CRPS) by 4%-14%, and Root Mean Squared Error (RMSE) by 2%-7% over existing methods on three real-world datasets.

研究动机与目标

• 为解决现有确定性时空图神经网络（STGNN）缺乏不确定性建模的问题，从而限制其在关键决策应用中的实用性。
• 将去噪扩散概率模型（DDPMs）推广至时空图，实现具备不确定性量化能力的概率预测。
• 通过引入非自回归预测框架，克服现有扩散模型在长时序预测中自回归生成效率低下的问题。
• 设计一种专用的去噪网络 UGnet，有效结合图神经网络（GNN）捕捉节点间空间相关性，以及 U-Net 架构建模多尺度时间依赖性。
• 在预测性能、不确定性校准能力及推理速度方面，优于现有 STG 预测方法。

提出的方法

• DiffSTG 采用条件去噪扩散过程，通过逐步去除潜在表示中的噪声来生成未来 STG 信号，条件基于历史观测。
• 核心去噪网络 UGnet 结合 U-Net 架构以学习多尺度时间特征，同时利用图神经网络（GNN）建模节点间的空间依赖关系。
• 非自回归推理策略使模型能够同时生成多步长预测，显著提升推理速度，优于自回归方法。
• 模型通过最小化各噪声水平下预测信号与真实信号之间的差异进行训练，基于评分驱动的生成建模框架。
• 引入一种采样加速策略，进一步提升训练与推理效率，同时不损失预测质量。
• 该框架将 STGNN 用于时空特征提取，结合扩散模型实现不确定性感知的生成，支持具备校准置信区间的概率预测。

实验结果

研究问题

• RQ1 去噪扩散模型能否被有效推广至时空图预测，以建模复杂依赖关系与不确定性？
• RQ2 如何设计去噪网络，以联合捕捉 STG 数据中的多尺度时间动态与空间相关性？
• RQ3 在扩散模型中采用非自回归生成是否能提升长时序 STG 预测的推理效率，同时保持预测精度？
• RQ4 与确定性 STGNN 相比，引入不确定性量化在真实世界 STG 数据集上能在多大程度上提升预测性能？
• RQ5 所提出的 UGnet 架构在建模保真度与不确定性校准方面，相较于标准去噪网络表现如何？

主要发现

• DiffSTG 在三个真实世界数据集上实现连续概率评分（CRPS）降低 4%-14%，表明其具备更优的不确定性校准能力。
• 与最先进方法相比，模型将均方根误差（RMSE）降低 2%-7%，证明了其预测准确性的提升。
• DiffSTG 中的非自回归推理显著加快了多步长预测的生成速度，克服了先前扩散模型的序列瓶颈。
• UGnet 架构通过其 U-Net 时间建模与 GNN 空间建模组件，显著优于标准去噪网络，有效捕捉时空依赖性。
• 大量消融实验表明，U-Net 时间建模与 GNN 空间建模组件均对性能提升有显著贡献。
• DiffSTG 在 AIR-BJ、AIR-GZ 与 PEMS08 数据集上达到新的 SOTA 水平，为概率性 STG 预测设立了新基准。