[論文レビュー] Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting

Zibo Liu, Parshin Shojaee+1 more|arXiv (Cornell University)|May 30, 2023

Traffic Prediction and Management Techniques被引用数 12

ひとこと要約

GRAM-ODE は、交通予測のために局所的および全体的な時空パターンと動的意味エッジを捉える複数の結合 ODE-GNN モジュールを導入し、モジュール間の通信を改善するために共有重みと発散制約を適用します。

ABSTRACT

There is a recent surge in the development of spatio-temporal forecasting models in the transportation domain. Long-range traffic forecasting, however, remains a challenging task due to the intricate and extensive spatio-temporal correlations observed in traffic networks. Current works primarily rely on road networks with graph structures and learn representations using graph neural networks (GNNs), but this approach suffers from over-smoothing problem in deep architectures. To tackle this problem, recent methods introduced the combination of GNNs with residual connections or neural ordinary differential equations (ODE). However, current graph ODE models face two key limitations in feature extraction: (1) they lean towards global temporal patterns, overlooking local patterns that are important for unexpected events; and (2) they lack dynamic semantic edges in their architectural design. In this paper, we propose a novel architecture called Graph-based Multi-ODE Neural Networks (GRAM-ODE) which is designed with multiple connective ODE-GNN modules to learn better representations by capturing different views of complex local and global dynamic spatio-temporal dependencies. We also add some techniques like shared weights and divergence constraints into the intermediate layers of distinct ODE-GNN modules to further improve their communication towards the forecasting task. Our extensive set of experiments conducted on six real-world datasets demonstrate the superior performance of GRAM-ODE compared with state-of-the-art baselines as well as the contribution of different components to the overall performance. The code is available at https://github.com/zbliu98/GRAM-ODE

研究の動機と目的

• 路網における複雑な内部および相互依存関係に対処して、精度の高い長距離の交通予測を動機づける。
• 予期せぬ事象のために、グローバルな時間パターンと重要なローカル時間パターンのバランスを取る表現を学習する。
• 時間とともに変化する交通関係をモデル化するために、動的なノード間・エッジ間の意味的相関を取り入れる。
• 共有重みと多様性制約付き埋め込みを通じて、複数のODE-GNNモジュール間の効果的な通信を可能にする。

提案手法

• グラフベースの Neural ODE フレームワーク内で、グローバル、ローカル、およびエッジベースの時間依存性に対する3つのODEモジュールを提案する。
• ノードベースとエッジベースのモジュールを整合させるために、共有空間的重みと時間的結合を導入する。
• 局所/グローバル埋め込みを制限し発散を防ぐためのメッセージフィルタリング制約を組み込む。
• ゲート付きのソフトマックス加重結合に基づく非線形集約層を用いて、モジュール出力を結合し多視点特徴を融合する。
• DTWベースのと接続ベースの2つの並列グラフストリームを3チャネルの GRAM-ODE スタックに入力し、最終的には注意機構ベースの融合を行う。

実験結果

リサーチクエスチョン

• RQ1 時空交通データにおいて、短期的なローカルな時間パターンと長距離のグローバルな時間パターンの両方をどのように捉えるか？
• RQ2 ノード間の動的意味エッジは、進化する空間相関をモデル化することによって予測を改善できるか？
• RQ3 共有重みと発散制約は、複数のODE-GNNモジュール間の協調を強化するか？
• RQ4 マルチビュー融合（DTWベースのグラフと接続ベースのグラフ）によって予測性能は向上するか？

主な発見

• GRAM-ODE は6つの実世界データセットで最先端のベースラインに対して優れた性能を示す。
• ローカル時系列ODEの組み込みは予期せぬイベントへの対応を改善する。
• 動的エッジベースの時相モデリングは、ノード間の進化する意味的結びつきを捉える。
• 共有重みと発散制約はODEモジュール間の通信を強化し、予測を向上させる。
• モジュール間の非線形ゲート付き集約は、予測のための堅牢な特徴融合を提供する。