[論文レビュー] Graph Neural Controlled Differential Equations for Traffic Forecasting

Jeongwhan Choi, Hwangyong Choi+2 more|arXiv (Cornell University)|Dec 7, 2021

Traffic Prediction and Management Techniques被引用数 28

ひとこと要約

本論文は STG-NCDE を提案する。時間的処理と空間的処理のための2つのニューラル・コントロールド微分方程式（NCDE）を組み合わせた時空予測モデルで、6つの PeMS データセットで最先端の結果と不規則データへの頑健性を示す。

ABSTRACT

Traffic forecasting is one of the most popular spatio-temporal tasks in the field of machine learning. A prevalent approach in the field is to combine graph convolutional networks and recurrent neural networks for the spatio-temporal processing. There has been fierce competition and many novel methods have been proposed. In this paper, we present the method of spatio-temporal graph neural controlled differential equation (STG-NCDE). Neural controlled differential equations (NCDEs) are a breakthrough concept for processing sequential data. We extend the concept and design two NCDEs: one for the temporal processing and the other for the spatial processing. After that, we combine them into a single framework. We conduct experiments with 6 benchmark datasets and 20 baselines. STG-NCDE shows the best accuracy in all cases, outperforming all those 20 baselines by non-trivial margins.

研究の動機と目的

• 時系列データが不規則な時空グラフ上での高精度な交通予測を動機づける。
• 時系列依存と空間依存を別々にモデル化するデュアル NCDE フレームワークを開発する。
• NCDE 内で適応的なグラフ畳み込みを活用して動的な空間関係を捉える。
• 実世界の交通データにおける欠測観測と不規則サンプリングに対する頑健性を示す。
• 多数のベンチマークに対する大規模な総合評価を提供する。

提案手法

• 過去の特徴量の自然三次スプライン補間により、各ノード v に対して連続路形 X^(v) を作成する。
• 二つの NCDE を用いる：時系列処理 h^(v)(T) は dX^(v)/dt（Eq. 4/5）により駆動され、空間処理 Z(T) は dH/dt（Eq. 6）により駆動される。
• f を多層の完全結合型のノードごとの時系列プロセッサとして定義する（Eq. 8）。
• g は適応的隣接行列（E, W_spatial）とソフトマックス正規化された相互作用（Eq. 9–11）を用いて空間的混合を実行する。
• 時系列 NCDE と空間 NCDE を単一の拡張 ODE（Eq. 12）に結合し、Z(T) から予測 ŷ^(v) を生成する（Eq. 13）。
• L1 ロスとウェイト減衰を用いて学習し、リプシッツ連続性の考慮から良く定義された解の存在性を証明する。

実験結果

リサーチクエスチョン

• RQ1 デュアル NCDE フレームワークは、交通ネットワークにおける時間的ダイナミクスと空間的依存性の両方を効果的に捉えられるか。
• RQ2 適応的な NCDE ベースの空間モジュールを時系列 NCDE と統合することは、強力なベースラインより予測精度を改善するか。
• RQ3 _STG-NCDE_ は現実世界の交通データにおける不規則性や欠測データに対してどれくらい頑健か。
• RQ4 ノード埋め込みサイズとパス補間がモデル性能に与える影響はどの程度か。

主な発見

• 6つの PeMS データセットにおいて MAE、RMSE、MAPE で 20 個のベースラインを上回り（STG-NCDE は平均精度で最高を達成）。
• STG-NCDE は 10–50% の欠測データを含む不規則データの状況下でも優位を保ち、ベースラインは苦戦する。
• アブレーション実験は、時系列および空間の両方の NCDE を用いると、片方のみより良い結果になることを示す。
• ノード埋め込みサイズ C を最大で 10 まで増やすと性能が向上し、C=7 を超えると安定性が見られる。
• モデルは予測区間全体で正確な予測を提供し、アブレーションと比較して学習ダイナミクスの頑健性を示す。