[論文レビュー] TrafficStream: A Streaming Traffic Flow Forecasting Framework Based on Graph Neural Networks and Continual Learning

Xu Chen, Junshan Wang+1 more|arXiv (Cornell University)|Jun 11, 2021

Traffic Prediction and Management Techniques参考文献 20被引用数 5

ひとこと要約

TrafficStreamは、拡張するトポロジーや変化する交通パターンを伴う長期的進化する交通ネットワークを扱うために、グラフニューラルネットワーク（GNN）と継続的学習を用いたストリーミング交通フロー予測フレームワークを提案する。新規の交通パターンはJS発散に基づく特徴分析により統合され、履歴知識はデータリプレイとパラメータスムージングを用いて統合される。再訓練に comparable な高い精度と効率性を達成し、全再訓練に比べて学習時間を約65%短縮する。

ABSTRACT

With the rapid growth of traffic sensors deployed, a massive amount of traffic flow data are collected, revealing the long-term evolution of traffic flows and the gradual expansion of traffic networks. How to accurately forecasting these traffic flow attracts the attention of researchers as it is of great significance for improving the efficiency of transportation systems. However, existing methods mainly focus on the spatial-temporal correlation of static networks, leaving the problem of efficiently learning models on networks with expansion and evolving patterns less studied. To tackle this problem, we propose a Streaming Traffic Flow Forecasting Framework, TrafficStream, based on Graph Neural Networks (GNNs) and Continual Learning (CL), achieving accurate predictions and high efficiency. Firstly, we design a traffic pattern fusion method, cleverly integrating the new patterns that emerged during the long-term period into the model. A JS-divergence-based algorithm is proposed to mine new traffic patterns. Secondly, we introduce CL to consolidate the knowledge learned previously and transfer them to the current model. Specifically, we adopt two strategies: historical data replay and parameter smoothing. We construct a streaming traffic dataset to verify the efficiency and effectiveness of our model. Extensive experiments demonstrate its excellent potential to extract traffic patterns with high efficiency on long-term streaming network scene. The source code is available at https://github.com/AprLie/TrafficStream.

研究の動機と目的

• 進化するトポロジーとノードの追加を伴う長期的ストリーミングネットワークにおける正確な交通フロー予測の課題に対処すること。
• 時間の経過とともに新しいデータとノードが出現する状態で、静的ネットワークに訓練されたモデルにおける深刻な忘却（catastrophic forgetting）を克服すること。
• 新規の交通パターンを効率的に統合しながら、以前に学習した知識を保持する統合的フレームワークの開発。
• 動的都市交通システムにおけるリアルタイムでスケーラブルな交通予測モデルのデプロイを可能にすること。

提案手法

• ノード特徴の変化を検出・定量化するためのJS発散に基づくアルゴリズムを導入し、進化するネットワークにおける新規交通パターンを特定する。
• 新規に検出されたパターン（新規および既存ノードからのもの）をGNNモデルに統合するための交通パターン統合メカニズムを採用する。
• 履歴データのリプレイを用いて継続的学習を実施し、過去の学習データからの知識を保持し、忘却を防止する。
• 学習の安定化と一般化性能の向上を図るため、モデルパラメータスムージングを適用する。
• 長期的性能評価のため、実世界のPEMSデータに基づくストリーミングデータセットPEMSD3-Streamを構築する。
• 空間的・時系列的依存性のモデリングにGNNを組み合わせ、スケーラブルでインクリメンタルな学習が可能なオンライン学習戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 完全な再訓練なしに、長期的ネットワーク拡張と進化する交通パターンに効果的に適応できる交通予測モデルはどのように構築できるか？
• RQ2 交通ネットワークに新しいノードと動的パターンが出現する際、深刻な忘却を防ぐためにどのような技術が有効か？
• RQ3 データリプレイとパラメータスムージングを組み合わせることで、ストリーミングGNNにおける知識統合がどのように向上するか？
• RQ4 継続的学習に基づくGNNフレームワークは、計算コストを削減しつつ、どの程度完全再訓練の精度に近づけるか？

主な発見

• TrafficStreamは、完全再訓練（Retrained-STModel）および最先端モデル（STGCN、STSGCN）と同等の予測精度を達成し、MAE、RMSE、MAPEの値が上限の1〜2%以内に収まる。
• 全再訓練に比べて合計学習時間を約65%短縮し、長期的デプロイにおいて高い効率性を示した。
• アブレーションスタディにより、新規パターン統合と知識統合の両方が不可欠であることが確認された。両方の要素を欠如させると、特に深刻な忘却状況で顕著な性能低下が生じた。
• 知識統合において、データリプレイはパラメータスムージング単体よりも優れた性能を示し、両者の組み合わせが最良の結果をもたらし、相乗効果があることを実証した。
• 7年間の評価期間を通じて、TrafficStreamは安定した性能を維持した一方、Expansible-STModelは忘却による性能低下を示した。
• JS発散に基づくパターン検出は、進化する交通パターンを効果的に特定でき、モデルが新規ノードや変化するダイナミクスに適応できることを示した。