[論文レビュー] Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs

Ming Jin, Yu Zheng+4 more|arXiv (Cornell University)|Feb 17, 2022

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、動的グラフ学習と時系列モデリングを統一するため、ニューラルODEを用いた連続的多変量時系列予測モデルMTGODEを提案する。連続的ODE統合により潜在的な空間時系列ダイナミクスをモデル化することで、特に長時間系列および複雑な依存関係において、離散的GNNベースの手法と比較して予測精度が向上し、計算コストも低減される。

ABSTRACT

Multivariate time series forecasting has long received significant attention in real-world applications, such as energy consumption and traffic prediction. While recent methods demonstrate good forecasting abilities, they have three fundamental limitations. (i) Discrete neural architectures: Interlacing individually parameterized spatial and temporal blocks to encode rich underlying patterns leads to discontinuous latent state trajectories and higher forecasting numerical errors. (ii) High complexity: Discrete approaches complicate models with dedicated designs and redundant parameters, leading to higher computational and memory overheads. (iii) Reliance on graph priors: Relying on predefined static graph structures limits their effectiveness and practicability in real-world applications. In this paper, we address all the above limitations by proposing a continuous model to forecast $ extbf{M}$ultivariate $ extbf{T}$ime series with dynamic $ extbf{G}$raph neural $ extbf{O}$rdinary $ extbf{D}$ifferential $ extbf{E}$quations ($ exttt{MTGODE}$). Specifically, we first abstract multivariate time series into dynamic graphs with time-evolving node features and unknown graph structures. Then, we design and solve a neural ODE to complement missing graph topologies and unify both spatial and temporal message passing, allowing deeper graph propagation and fine-grained temporal information aggregation to characterize stable and precise latent spatial-temporal dynamics. Our experiments demonstrate the superiorities of $ exttt{MTGODE}$ from various perspectives on five time series benchmark datasets.

研究の動機と目的

• 離散的ニューラルアーキテクチャの限界を解決すること。具体的には、不連続な潜在状態軌道と高い数値誤差を引き起こす要因となる。
• 既存モデルにおける複雑な離散的設計と余分なパラメータが引き起こす計算およびメモリのオーバーヘッドを低減すること。
• 現実の動的環境においてモデルの適応性を制限する事前定義された静的グラフ構造への依存を克服すること。
• 動的グラフ構築とニューラルODEを用いて、空間的および時系列的依存関係を統合的に連続的フレームワークでモデル化すること。
• グラフトポロジーの事前知識がなくても、任意の多変量時系列に対して効果的かつ効率的な表現学習を可能にすること。

提案手法

• ノード特徴量が時間とともに変化し、グラフ構造が未知で学習可能な動的グラフとして多変量時系列を抽象化する。
• 欠落しているグラフ構造の学習と、空間的・時系列的メッセージパッシングの両方を同時に実行するためのニューラルODEを設計する。
• 連続的グラフ伝播（CGP）と連続的時系列集約（CTA）をニューラルODEを介して統合し、滑らかで深い潜在ダイナミクスをモデル化する。
• ノード特徴量から時間変化する隣接行列を推定する学習可能なグラフ構築モジュールを用い、動的トポロジー学習を可能にする。
• 連続的正規化フローと適応的ステップサイズソルバー（例：Dopri5）を適用し、安定な勾配を有するODE系の効率的解法を実現する。
• 離散的レイヤスタッキングを回避し、パラメータの重複を低減する単一の連続的フレームワークで空間的および時系列的モデリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEに基づく連続的モデルは、離散的アーキテクチャを上回る性能を示すか？
• RQ2 静的グラフ事前知識に依存せずに、動的グラフ構造学習が予測性能をどの程度向上できるか？
• RQ3 空間的および時系列的ダイナミクスの連続的統合が、モデルの表現力および数値的安定性に与える影響は？
• RQ4 連続的フレームワークにおいて、モデルの深さおよび統合時間は、予測精度および計算効率にどのような影響を及えるか？
• RQ5 提案手法は、離散的GNNベースのベースラインと比較して、より低いメモリ使用量およびMAC（乗加算演算回数）で優れた性能を達成できるか？

主な発見

• MTGODEは5つのベンチマークデータセットで最先端の性能を達成し、DCRNN、STGCN、GMANといった強力なベースラインと比較してRMSEの観点で優れている。
• Metr-Laデータセットでは、RMSEが6.04にまで低下し、次に優れた手法よりも顕著に低い値を示しており、優れた予測精度を実証している。
• ハイパーパramータの変更に対して強いロバストネスを示し、最適な性能は中程度の隠れ次元（例：64–128）および統合時間で観察された。
• 特にモデルの深さが増すと、離散的バージョンおよびMTGNNと比較して、計算およびメモリコストを最大30％まで削減した。
• アブレーションスタディの結果、連続的グラフ伝播（CGP）および連続的時系列集約（CTA）の両方が不可欠であることが確認され、これらを離散的バージョンに置き換えると性能が急激に低下した。
• ステップサイズを大きくしても効率性を維持でき、精度および推論速度の両面で離散的ベースラインを上回った。