[論文レビュー] Message Passing Neural Networks for Traffic Forecasting

Arian Prabowo, Hao Xue+3 more|arXiv (Cornell University)|May 9, 2023

Traffic Prediction and Management Techniques被引用数 4

ひとこと要約

本論文は、交通予測におけるノード間相互作用を的確に捉える必要性を強調し、MPNN（Message Passing Neural Networks）が交通予測のための最適なGNN（Graph Neural Network）アーキテクチャであると主張している。実世界および合成データを用いた実験により、MPNNは畳み込み型（GCN）およびアテンション型（GAT）GNNを著しく上回り、ノード間相互作用を模倣する合成タスクでは、ほぼ完璧な性能（RMSE ≈ 0.015、R² ≈ 0.9995）を達成した。他のモデルは同様のタスクで失敗している。

ABSTRACT

A road network, in the context of traffic forecasting, is typically modeled as a graph where the nodes are sensors that measure traffic metrics (such as speed) at that location. Traffic forecasting is interesting because it is complex as the future speed of a road is dependent on a number of different factors. Therefore, to properly forecast traffic, we need a model that is capable of capturing all these different factors. A factor that is missing from the existing works is the node interactions factor. Existing works fail to capture the inter-node interactions because none are using the message-passing flavor of GNN, which is the one best suited to capture the node interactions This paper presents a plausible scenario in road traffic where node interactions are important and argued that the most appropriate GNN flavor to capture node interactions is message-passing. Results from real-world data show the superiority of the message-passing flavor for traffic forecasting. An additional experiment using synthetic data shows that the message-passing flavor can capture inter-node interaction better than other flavors.

研究の動機と目的

• 既存モデルが捉えられていない要因として、交通予測におけるノード間相互作用の重要性を特定・強調すること。
• MPNN（メッセージパッシングGNN）が、関係性推論のインダクティブバイアスを持つため、ノード間相互作用を捉えるのに最も適したGNNの種類であると主張すること。
• 実世界の交通予測タスクにおいて、MPNNが畳み込み型およびアテンション型GNNを上回ることを実証的に検証すること。
• 合成データを用いて、MPNNが他のGNNアーキテクチャが失敗する非線形なノード相互作用パターンを完全に学習できることを示すこと。

提案手法

• 著者らは、履歴的な交通指標と隣接行列を用いて、交通予測をグラフベースの回帰タスクとして定式化している。
• GNNがノード間相互作用を学習できる能力を孤立してテストできるように、関係性を制御する信号生成タスク（RMSGタスク）を導入している。
• 4つのモデルを比較：単純平均ベースライン、GCN（畳み込み型GNNの代表）、GAT（アテンション型GNNの代表）、MPNN（メッセージパッシングGNNの代表）。
• すべてのモデルは、ソフトマックス層を削除し、符号化・復号化に1層のMLPを追加し、隣接行列に単位行列を加えて自己ループを導入することで回帰タスクに適合させた。
• RMSE、MAE、R²の指標を用いて、2^20件の訓練データ、10^5件の検証データ、2^20件のテストデータでモデルを訓練・評価した。ハイパーパrameterはOptunaを用いて最適化された。
• MPNNにおけるメッセージパッシング機構は、反復的なメッセージ伝達によりノード特徴量をアグリゲートし、ノード間の関係的依存関係を明示的にモデル化可能である。

実験結果

リサーチクエスチョン

• RQ1 ノード間相互作用は、現在のモデルが捉えられていない交通予測における重要な要因であるか？
• RQ2 畳み込み型、アテンション型、メッセージパッシング型のうち、どのGNNアーキテクチャが交通ネットワークにおけるノード間相互作用をモデル化するのに最も適しているか？
• RQ3 MPNNは、実世界の交通予測タスクにおいて、他のGNNアーキテクチャを上回る性能を示せるか？
• RQ4 合成データの実験により、MPNNが非線形なノード相互作用パターンを学習する能力に優れていることが、明確に分離・確認できるか？

主な発見

• 合成RMSGタスクにおいて、MPNNはRMSE 0.01509 ± 0.002373、R² 0.99952 ± 0.000147というほぼ完璧な性能を示し、背後にある相互作用パターンを完全に学習したことが示された。
• GCNは平均ベースラインと同程度の性能（RMSE ≈ 0.6766）を示し、R²はほぼゼロであったため、非線形性を有するにもかかわらず、相互作用パターンの学習に失敗した。
• GATは改善された性能（RMSE ≈ 0.1685、R² ≈ 0.8774）を示したが、標準偏差が0.18以上と高く、相互作用の学習が一貫していなかった。
• 実世界の交通データにおいても、MPNNはGCNおよびGATを上回る優れた予測性能を示し、実用的状況下での有効性が確認された。
• 結果から、MPNNは他のGNNアーキテクチャが捉えられない複雑で非線形なノード間相互作用をモデル化できる唯一のGNNであることが確認された。