[論文レビュー] Online Spatio-Temporal Correlation-Based Federated Learning for Traffic Flow Forecasting

Qingxiang Liu, Sheng Sun+3 more|arXiv (Cornell University)|Feb 17, 2023

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本稿では、交通フロー予測のための、オンライン時空間相関に基づく新規フェデレーテッドラーニングフレームワークであるFedOSTCを提案する。このフレームワークは、オンライン勾配降下を用いてリアルタイムでのモデル更新を可能にする。空間相関をグラフアテンションネットワークで動的にモデル化し、周期的特徴を考慮したアグリゲーション機構を採用することで、実世界のデータセットにおいて、バッチ学習に基づくフェデレーテッドラーニング手法に比べ、優れた予測精度と一般化性能を達成する。

ABSTRACT

Traffic flow forecasting (TFF) is of great importance to the construction of Intelligent Transportation Systems (ITS). To mitigate communication burden and tackle with the problem of privacy leakage aroused by centralized forecasting methods, Federated Learning (FL) has been applied to TFF. However, existing FL-based approaches employ batch learning manner, which makes the pre-trained models inapplicable to subsequent traffic data, thus exhibiting subpar prediction performance. In this paper, we perform the first study of forecasting traffic flow adopting Online Learning (OL) manner in FL framework and then propose a novel prediction method named Online Spatio-Temporal Correlation-based Federated Learning (FedOSTC), aiming to guarantee performance gains regardless of traffic fluctuation. Specifically, clients employ Gated Recurrent Unit (GRU)-based encoders to obtain the internal temporal patterns inside traffic data sequences. Then, the central server evaluates spatial correlation among clients via Graph Attention Network (GAT), catering to the dynamic changes of spatial closeness caused by traffic fluctuation. Furthermore, to improve the generalization of the global model for upcoming traffic data, a period-aware aggregation mechanism is proposed to aggregate the local models which are optimized using Online Gradient Descent (OGD) algorithm at clients. We perform comprehensive experiments on two real-world datasets to validate the efficiency and effectiveness of our proposed method and the numerical results demonstrate the superiority of FedOSTC.

研究の動機と目的

• 動的交通変動に適応できない事前学習済みモデルを抱えるバッチ学習フェデレーテッドラーニングの限界を是正すること。
• プライバシーを守るフェデレーテッドラーニング環境において、リアルタイムで段階的なモデル更新を可能にし、低遅延交通予測を支援すること。
• クライアント間の空間相関を動的に評価し、モデルアグリゲーションに周期的パターンを組み込むことで、グローバルモデルの一般化性能を向上させること。
• 標準的な平均化アグリゲーションの適応性の低さを克服するため、周期に配慮した重み付きアグリゲーション機構を導入すること。

提案手法

• クライアントは、時系列交通速度データから内部的な時系列パターンを抽出するために、GRUベースのエンコーダーを用いる。
• 中央サーバーは、リアルタイム交通データに基づいて、クライアント間の空間相関を動的に評価するため、グラフアテンションネットワーク（GAT）を採用する。
• 各新しいデータ観測後にオンライン勾配降下（OGD）を用いて、局所モデルを段階的に更新する。
• 時間的周期性と予測性能に基づいて重み付けされた局所モデルを用いる周期的特徴を考慮したアグリゲーション機構により、グローバルモデルの一般化性能を向上させる。
• オンライン学習とフェデレーテッドラーニングを統合することで、再訓練を必要とせずに変化する交通パターンに継続的に適応できる。
• 周期性と性能に基づいて決定される重みを用いて、局所最適化モデルの重み付き平均を繰り返し用いてグローバルモデルを更新する。

実験結果

リサーチクエスチョン

• RQ1 バッチ学習手法と比較して、フェデレーテッドラーニング環境におけるオンライン学習が、交通フロー予測性能を向上させることができるか？
• RQ2 フェデレーテッドラーニングフレームワークにおいて、交通ノード間の空間相関をどのように動的に評価し、交通変動に適応できるか？
• RQ3 モデルアグリゲーションに周期的パターンを組み込むことで、交通予測におけるグローバルモデルの一般化性能が向上するか？
• RQ4 提案された周期的特徴を考慮したアグリゲーション機構は、クライアント間の予測誤差分散をどの程度低減するか？

主な発見

• FedOSTCは、METR-LAおよびPEMS-BAYの両データセットにおいて、RMSEおよびMAEの観点で、すべてのベースライン手法（最先端のFLおよび集中型モデルを含む）を上回る性能を示した。
• FedAvgOnと比較して、FedOSTCではクライアント間の予測誤差分散が顕著に低く抑えられており、優れた一般化能力を示している。
• 既存の最良のFL手法であるCNFGNNよりも、FedOSTCはRMSEおよびMAEが低く、真値からのずれがはるかに小さい。
• 局所エポック数を増加させることで予測精度は向上するが、計算コストも増加するため、性能とリソース使用量のトレードオフが生じる。
• 周期的特徴を考慮したアグリゲーション機構は、特に動的交通状況下でモデル一般化性能を顕著に向上させた。
• オンライン学習による段階的更新により、リアルタイムでの適応が可能となり、再訓練の必要がなくなり、予測遅延が低減された。