[論文レビュー] Sparse Graph Learning from Spatiotemporal Time Series

Andrea Cini, Daniele Zambon+1 more|arXiv (Cornell University)|May 26, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、時空間時系列データからスパースで構造的なグラフを学習するための確率的でスコアベースのフレームワークを提案する。グラフ隣接行列をスパースグラフ上の離散分布としてモデル化することで、分散低減による勾配推定を活用し、予測性能を最大化しながら計算効率とスパarsityを維持するエンドツーエンド微分可能なグラフ学習を実現する。合成データおよび実世界のベンチマークで最先端の結果を達成した。

ABSTRACT

Outstanding achievements of graph neural networks for spatiotemporal time series analysis show that relational constraints introduce an effective inductive bias into neural forecasting architectures. Often, however, the relational information characterizing the underlying data-generating process is unavailable and the practitioner is left with the problem of inferring from data which relational graph to use in the subsequent processing stages. We propose novel, principled - yet practical - probabilistic score-based methods that learn the relational dependencies as distributions over graphs while maximizing end-to-end the performance at task. The proposed graph learning framework is based on consolidated variance reduction techniques for Monte Carlo score-based gradient estimation, is theoretically grounded, and, as we show, effective in practice. In this paper, we focus on the time series forecasting problem and show that, by tailoring the gradient estimators to the graph learning problem, we are able to achieve state-of-the-art performance while controlling the sparsity of the learned graph and the computational scalability. We empirically assess the effectiveness of the proposed method on synthetic and real-world benchmarks, showing that the proposed solution can be used as a stand-alone graph identification procedure as well as a graph learning component of an end-to-end forecasting architecture.

研究の動機と目的

• 事前にグラフが与えられていない状況において、時空間時系列データから意味のある関係構造を学習する課題に対処すること。
• GNNにおける効率的なメッセージスティンングに適したスパースグラフを生成できる微分可能で確率的なグラフ学習フレームワークを開発すること。
• 原理的な勾配推定を通じて、高い予測性能と計算スケーラビリティ、構造的インダクティブバイアスのバランスを図ること。
• グラフ構造と予測性能を同時に最適化することで、グラフ条件付き予測モデルのエンドツーエンド学習を可能にすること。

提案手法

• 隣接行列をパラメータ化された分布 $\bm{p}_\theta$ に従う離散確率変数としてモデル化することで、確率的グラフ生成を可能にする。
• 離散サンプリングプロセスを逆伝播可能にするために、分散低減を用いたスコアベース勾配推定を採用する。これによりエンドツーエンド学習が実現される。
• スパースグラフのサンプリングにソフトトップ-$K$ 選択機構（SNS）を用い、スコアが上位 $K$ のエッジのみを保持する。
• サンプルされたグラフ上の期待損失を最小化することで、下流の予測性能を最大化するようにグラフジェネレータを学習する。
• 訓練の安定性と勾配品質の向上を図るため、温度制御されたサンプリングとスコアのソフトクリッピングを導入する。
• スタンドアロンのグラフ同定と、メッセージスティンぐ層を備えたGNNベースのアーキテクチャへの統合の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 事前にトポロジー情報が与えられていない状況でも、微分可能で確率的なフレームワークが、時空間時系列データからスパースで意味のあるグラフを学習できるか？
• RQ2 スパースGNN推論に適した効率的な方法で、離散的グラフ構造に対する正確な勾配推定をどのように達成できるか？
• RQ3 固定グラフや学習済みグラフと比較して、エンドツーエンドのグラフ学習は予測性能をどの程度向上させるか？
• RQ4 実世界の時空間予測タスクにおいて、最先端の性能を達成しつつ、計算効率を維持できるか？
• RQ5 注意機構や他のベースラインと比較して、学習されたグラフ構造はスパarsityと予測精度の両面でどの程度優れているか？

主な発見

• 提案手法は、合成データおよび実世界のベンチマーク（AQIや交通データ含む）において、マルチステップ先の時系列予測で最先端の性能を達成した。
• PEMS-BAYデータセットでは、GTS や Satorras et al. (2022) といった強力なベースラインを上回り、RMSEが2.48と、次善の手法（2.56）よりも低かった。
• 学習されたグラフは一貫してスパースであり、SNSモジュールが効果的に最も関連性の高い $K$ エッジを選択しており、GNNにおける効率的なメッセージスティンングを可能にした。
• 異なるアーキテクチャやデータセットに対してロバストであり、エンドツーエンドモデルにおけるグラフ学習部品として使用した際、一貫した予測精度の向上を示した。
• アブレーションスタディにより、分散低減と適切な勾配推定が安定した訓練と高い性能に不可欠であることが確認された。
• 合成データ（既知の真値グラフを備える）を用いた検証により、学習されたグラフ構造がデータの真の依存関係を的確に反映する解釈可能でタスク最適化された構造を学習できていることが示された。