[論文レビュー] Temporal Graph Neural Networks for Irregular Data

Joel Oskarsson, Per Sidén+1 more|arXiv (Cornell University)|Feb 16, 2023

Energy Load and Power Forecasting被引用数 7

ひとこと要約

本稿では、指数的減衰と周期的ダイナミクスを有する線形ODEによって制御される時間連続な隠れ状態を用いて、不規則に観測されるグラフ構造時系列をモデル化する時間的グラフニューラルネットワークTGNN4Iを提案する。GNNをGRUベースの状態更新および予測に統合することで、部分的かつ不規則な観測下でも任意の時刻における高精度な予測が可能となり、交通、気象、および合成データにおいてベースラインを上回る性能を発揮する。

ABSTRACT

This paper proposes a temporal graph neural network model for forecasting of graph-structured irregularly observed time series. Our TGNN4I model is designed to handle both irregular time steps and partial observations of the graph. This is achieved by introducing a time-continuous latent state in each node, following a linear Ordinary Differential Equation (ODE) defined by the output of a Gated Recurrent Unit (GRU). The ODE has an explicit solution as a combination of exponential decay and periodic dynamics. Observations in the graph neighborhood are taken into account by integrating graph neural network layers in both the GRU state update and predictive model. The time-continuous dynamics additionally enable the model to make predictions at arbitrary time steps. We propose a loss function that leverages this and allows for training the model for forecasting over different time horizons. Experiments on simulated data and real-world data from traffic and climate modeling validate the usefulness of both the graph structure and time-continuous dynamics in settings with irregular observations.

研究の動機と目的

• 不規則な観測時刻と部分的なノード観測を伴うグラフ構造時系列の予測という課題に対処すること。
• 観測時刻以外の任意の時刻においても予測可能な、時間連続的なノード状態のダイナミクスを維持する手法の開発。
• 欠損データや非同期測定を扱える統一的なフレームワークとして、グラフ構造と時間的ダイナミクスを統合すること。
• 不規則な観測パターンと多段階予測に対応可能な微分可能損失関数の設計。
• 不規則性の程度が異なる実世界および合成データセットにおいて、モデルの有効性を実証すること。

提案手法

• 各ノードの隠れ状態を、指数的減衰と任意の周期的成分を含む明示的解を持つ時間連続な線形ODEでモデル化する。
• 新規観測が到来する度に、Gated Recurrent Unit (GRU) を用いて隠れ状態を更新し、GNN層を介して隣接ノードの情報を統合する。
• GNN層をGRUの状態更新部および最終的な予測ヘッドの両方に統合し、ノード間の依存関係を捉える。
• ODEの解を閉形式で定義することで、数値的ODEソルバに依存せずに効率的な学習と推論を可能にする。
• 不規則な観測時刻を考慮し、時間連続な性質を活かして多段階予測をサポートする損失関数を設計する。
• 各時刻における観測済みノードを効率的に追跡するためのバイナリマスクを用いることで、スパースな観測パターンにおけるスケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 閉形式で解けるODEダイナミクスを有する時間連続な隠れ状態は、不規則にサンプリングされたグラフ構造時系列の予測性能を向上させるか？
• RQ2 GRUの更新部および予測ヘッドの両方にGNNを統合することで、部分的かつ不規則な観測下でのノード間依存関係のモデル化にどの程度有効か？
• RQ3 任意の時刻における予測が可能なモデルの能力は、離散的時間のベースラインと比較して、予測精度をどの程度向上させるか？
• RQ4 交通や気象データなど、不規則性の程度が異なる多様な分野において、モデルはどの程度の性能を発揮するか？
• RQ5 合成的な周期的信号に一般化可能で、実世界のシステムに一般的な欠損観測パターンを適切に処理できるか？

主な発見

• TGNN4Iは、不規則な観測パターンを示す実世界の交通および気象データセットにおいて、ベースラインモデルを上回る優れた予測性能を達成した。
• グラフ構造と時間連続ダイナミクスの統合により、特に部分的かつ非同期的な観測が生じる状況下で予測精度が顕著に向上した。
• 時間連続な定式化のおかげで、標準的な離散的時間RNNやGNNアプローチでは不可能な任意の時刻における高精度な予測が可能となった。
• 合成データにおける実験により、モデルが周期的ダイナミクスを正しく捉え、欠損観測に対しても性能低下が最小限に抑えられることを確認した。
• 閉形式のODE解により、LG-ODEのような数値的ODEソルバに依存するモデルと比較して、より高速な学習が可能でありながらも、競争力のある性能を維持した。
• 連続的な隠れ状態表現のおかげで、モデルのアーキテクチャは補間やシーケンスセグメンテーションなどの後続タスクをサポートできる。