[論文レビュー] DiffSTG: Probabilistic Spatio-Temporal Graph Forecasting with Denoising Diffusion Models

Haomin Wen, Youfang Lin+5 more|arXiv (Cornell University)|Jan 31, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、空間的・時系列的グラフ（STG）予測のための、初めてのノイズ除去拡散確率モデルであるDiffSTGを提案する。本モデルは、多スケールの時系列的・空間的依存関係を捉えるために、新規のUGnetノイズ除去ネットワークを統合している。非自己回帰的かつ不確実性を考慮した予測を可能にすることで、3つの実世界データセットにおいてCRPSを4%〜14%、RMSEを2%〜7%削減し、確率的予測の精度と効率を顕著に向上させた。

ABSTRACT

Spatio-temporal graph neural networks (STGNN) have emerged as the dominant model for spatio-temporal graph (STG) forecasting. Despite their success, they fail to model intrinsic uncertainties within STG data, which cripples their practicality in downstream tasks for decision-making. To this end, this paper focuses on probabilistic STG forecasting, which is challenging due to the difficulty in modeling uncertainties and complex ST dependencies. In this study, we present the first attempt to generalize the popular denoising diffusion probabilistic models to STGs, leading to a novel non-autoregressive framework called DiffSTG, along with the first denoising network UGnet for STG in the framework. Our approach combines the spatio-temporal learning capabilities of STGNNs with the uncertainty measurements of diffusion models. Extensive experiments validate that DiffSTG reduces the Continuous Ranked Probability Score (CRPS) by 4%-14%, and Root Mean Squared Error (RMSE) by 2%-7% over existing methods on three real-world datasets.

研究の動機と目的

• 既存の決定的空間的・時系列的グラフニューラルネットワーク（STGNN）には不確実性モデリングの欠如があるため、意思決定が重要な応用分野での実用性が制限されていることに対処する。
• ノイズ除去拡散確率モデル（DDPM）を空間的・時系列的グラフに一般化し、不確実性の定量化を伴う確率的予測を可能にする。
• 従来の拡散モデルにおける自己回帰的生成の非効率性を克服し、長期間予測に適した非自己回帰的予測フレームワークを導入する。
• GNNを用いてノード間の空間的相関をモデル化し、U-Netアーキテクチャを用いて多スケールの時系列的依存関係を効果的に捉える専用のノイズ除去ネットワークUGnetを設計する。
• 従来のSTG予測手法と比較して、より優れた予測性能と向上した不確実性のキャリブレーション、および高速な推論を達成する。

提案手法

• DiffSTGは、履歴観測を条件として、潜在表現から段階的にノイズを除去することで将来のSTG信号を生成する条件付きノイズ除去拡散プロセスを採用する。
• コアとなるノイズ除去ネットワークであるUGnetは、多スケールの時系列特徴抽出を目的としたU-Netアーキテクチャと、ノード間の空間的依存関係をモデル化するためのグラフニューラルネットワーク（GNN）を統合している。
• 非自己回帰的推論戦略により、複数の予測時間窓を同時に生成でき、自己回帰的代替手法に比べて推論速度が顕著に向上する。
• 各ノイズレベルにおいて予測出力と真値信号の差を最小化するノイズ除去目的関数を用いて学習を行い、スコアベースの生成モデリングフレームワークを活用する。
• 予測品質を損なわずに、訓練および推論の効率をさらに向上させるためのサンプル加速戦略を導入する。
• STGNNを空間的・時系列的特徴抽出に、拡散モデルを不確実性を考慮した生成に用いることで、キャリブレートされた信頼区間を伴う確率的予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去拡散モデルを空間的・時系列的グラフ予測に効果的に一般化できるか。複雑な依存関係と不確実性をモデル化できるか。
• RQ2 多スケールの時系列的ダイナミクスと空間的相関を同時に捉えるために、どのようにノイズ除去ネットワークを設計できるか。
• RQ3 拡散モデルにおける非自己回帰的生成は、精度を損なわせずに長期間予測の推論効率を向上させられるか。
• RQ4 実世界のSTGデータセットにおいて、不確実性定量化を組み込むことで、決定的STGNNと比較して予測性能がどの程度向上するか。
• RQ5 標準的なノイズ除去ネットワークと比較して、提案されたUGnetアーキテクチャは、モデリングの忠実性および不確実性のキャリブレーションの観点でどのように優れているか。

主な発見

• DiffSTGは3つの実世界データセットにおいて、連続ランク確率スコア（CRPS）を4%〜14%削減し、優れた不確実性のキャリブレーションを示した。
• 最先端の手法と比較して、ルート平均二乗誤差（RMSE）を2%〜7%削減し、予測精度の向上を実証した。
• DiffSTGにおける非自己回帰的推論により、複数の予測時間窓の生成が著しく高速化され、従来の拡散モデルの逐次的ボトルネックを克服した。
• UGnetアーキテクチャは、U-NetとGNNの両方のコンポonentを活用することで、空間的および時系列的依存関係を効果的にモデル化し、標準的なノイズ除去ネットワークを上回る性能を発揮した。
• 広範なアブレーションスタディにより、U-Netによる時系列モデリングおよびGNNによる空間モデリングの両コンポーネントが、性能向上に顕著な寄与をしていることが確認された。
• DiffSTGはAIR-BJ、AIR-GZ、PEMS08データセットで新たなSOTAを樹立し、確率的STG予測の新たなベンチマークを確立した。