[論文レビュー] A Study of Joint Graph Inference and Forecasting

Daniel Zügner, François-Xavier Aubet+4 more|arXiv (Cornell University)|Sep 10, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

この論文は、合成および実世界の多次元時系列データに対して、MTGNN、GDN、GTS、NRIの4つの連合グラフ推論および予測モデルを評価し、微分可能なグラフ学習が、真の関係が不明な状況においても予測精度を向上させることを示している。著者らは、既存モデルの最良の要素を組み合わせたハイブリッドアーキテクチャを提案し、学習可能なスパースグラフを用いたエンドツーエンド学習が、多様なデータセットにおいて優れた性能を発揮することを示している。

ABSTRACT

We study a recent class of models which uses graph neural networks (GNNs) to improve forecasting in multivariate time series. The core assumption behind these models is that there is a latent graph between the time series (nodes) that governs the evolution of the multivariate time series. By parameterizing a graph in a differentiable way, the models aim to improve forecasting quality. We compare four recent models of this class on the forecasting task. Further, we perform ablations to study their behavior under changing conditions, e.g., when disabling the graph-learning modules and providing the ground-truth relations instead. Based on our findings, we propose novel ways of combining the existing architectures.

研究の動機と目的

• 4つの最近の連合グラフ推論および予測モデル（MTGNN、GDN、GTS、NRI）の多次元時系列予測における性能を評価すること。
• 既知または固定されたグラフを使用する場合と比較して、連合グラフ学習が予測精度を向上させる条件を調査すること。
• 訓練の繰り返しにおいて推定されたグラフの整合性と品質、および真の関係が利用可能な場合のそれらの真の関係との類似性を分析すること。
• アブレーションスタディを通じて、既存モデルのアーキテクチャ上の長所と短所を特定すること。
• 既存モデルの最高性能を示す要素を組み合わせた、新たなハイブリッドアーキテクチャを提案し、予測性能の向上を図ること。

提案手法

• モデルは、時系列表現からのペアワイズ類似度計算（例：ドット積やフィードフォワードネットワーク）を介して、微分可能なグラフ学習により隣接行列を推定する。
• グラフ学習モジュールは、Top-K選択（MTGNN、GDN）またはGumbel-Softmaxを用いた微分可能なサンプリング（NRI、GTS）によりスパースな隣接行列を生成する。
• 予測モジュールは、推定されたグラフ上でグラフニューラルネットワーク（GNN）を適用し、将来の時系列ステップを予測する。
• モデルは12ステップの予測ホライズンにおける平均絶対誤差（MAE）損失を用いてエンドツーエンドで訓練される。
• アブレーションスタディでは、グラフ学習を無効化し、真のグラフに置き換えることで、グラフ推定が予測性能に与える寄与を分離する。
• Gumbel-SoftmaxサンプリングとTop-Kスパース化の両方を組み合わせたハイブリッドアーキテクチャが、各モデルの効果的な要素を統合することで提案される。

実験結果

リサーチクエスチョン

• RQ1 既知または固定されたグラフを使用する場合と比較して、連合グラフ推論および予測が予測精度を向上させる状況はどのようなものか？
• RQ2 異なるデータセットおよびアーキテクチャ選択において、既存の連合推論・予測モデルの性能と挙動はどのように比較されるか？
• RQ3 複数回の訓練実行において、推定されたグラフはどれほど整合的か？真の関係が分かっている場合、それらは真の関係とどれほど類似しているか？
• RQ4 どのアーキテクチャ的要素が予測性能に最も寄与しているのか？また、それらは効果的にどのように組み合わせられるか？

主な発見

• METR-LA や PEMS-BAY といった実世界のデータセットでは、真のグラフを教師として使用した場合、連合グラフ推論が予測性能を顕著に向上させる。
• 真の関係が分かっている合成データセットでは、真のグラフ構造（例：SBM や DAG）を正しく推定できるモデルは、そうでないモデルよりも著しく低い MAE を達成する。
• Gumbel-Softmaxに基づくグラフ学習（NRI や GTS で使用）は、特にデータが少ない状況において、Top-K手法よりも一貫性があり安定したグラフを生成する。
• アブレーションスタディの結果、グラフ学習を無効化し真のグラフに置き換えた場合、予測性能が著しく低下することが示され、モデルが既知の構造を超えて、タスク固有の意味のある関係を学習していることが示唆される。
• 提案されたハイブリッドアーキテクチャ（Gumbel-SoftmaxサンプリングとTop-Kスパース化の組み合わせ）は、複数のベンチマークで最先端の性能を達成し、個々のモデルを上回る性能を示している。
• 潜在的または複雑な依存関係（例：拡散ベースやDAGベースの合成データ）を有する状況では、微分可能なグラフ学習を有するモデルが、固定または手作業で作成されたグラフに依存するモデルよりも一般化性能に優れている。