[논문 리뷰] Online Spatio-Temporal Correlation-Based Federated Learning for Traffic Flow Forecasting

Qingxiang Liu, Sheng Sun외 3명|arXiv (Cornell University)|2023. 02. 17.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 실시간 모델 업데이트를 가능하게 하는 온라인 기반의 공간-시간 상관관계 기반 연합 학습 프레임워크인 FedOSTC를 제안한다. 온라인 경사 하강법을 통해 실시간으로 모델을 업데이트하며, 그래프 주의 메커니즘을 활용해 동적으로 공간 상관관계를 모델링하고, 주기 인식 기반의 집계 메커니즘을 적용함으로써 실제 데이터셋에서 기존 배치 학습 기반 연합 학습 방법에 비해 뛰어난 예측 정확도와 일반화 성능을 달성한다.

ABSTRACT

Traffic flow forecasting (TFF) is of great importance to the construction of Intelligent Transportation Systems (ITS). To mitigate communication burden and tackle with the problem of privacy leakage aroused by centralized forecasting methods, Federated Learning (FL) has been applied to TFF. However, existing FL-based approaches employ batch learning manner, which makes the pre-trained models inapplicable to subsequent traffic data, thus exhibiting subpar prediction performance. In this paper, we perform the first study of forecasting traffic flow adopting Online Learning (OL) manner in FL framework and then propose a novel prediction method named Online Spatio-Temporal Correlation-based Federated Learning (FedOSTC), aiming to guarantee performance gains regardless of traffic fluctuation. Specifically, clients employ Gated Recurrent Unit (GRU)-based encoders to obtain the internal temporal patterns inside traffic data sequences. Then, the central server evaluates spatial correlation among clients via Graph Attention Network (GAT), catering to the dynamic changes of spatial closeness caused by traffic fluctuation. Furthermore, to improve the generalization of the global model for upcoming traffic data, a period-aware aggregation mechanism is proposed to aggregate the local models which are optimized using Online Gradient Descent (OGD) algorithm at clients. We perform comprehensive experiments on two real-world datasets to validate the efficiency and effectiveness of our proposed method and the numerical results demonstrate the superiority of FedOSTC.

연구 동기 및 목표

• 예측 모델이 동적인 교통 변동에 적응하지 못하는 문제를 해결하기 위해 배치 학습 기반 연합 학습의 한계를 해결한다.
• 개인정보 보호를 유지하는 연합 학습 환경에서 실시간으로 점진적인 모델 업데이트를 가능하게 하여 저지연 예측을 지원한다.
• 클라이언트 간의 공간 상관관계를 동적으로 평가하고 주기적 패턴을 통합함으로써 글로벌 모델의 일반화 능력을 향상시킨다.
• 기본 평균화 집계 방식의 낮은 적응 능력을 극복하기 위해 주기 인식 가중 집계 메커니즘을 도입한다.

제안 방법

• 클라이언트는 순차적인 교통 속도 데이터로부터 내부 시간 패턴을 추출하기 위해 GRU 기반 인코더를 사용한다.
• 중앙 서버는 실시간 교통 데이터를 바탕으로 클라이언트 간의 공간 상관관계를 동적으로 평가하기 위해 그래프 주의 메커니즘(GAT)을 활용한다.
• 각 새로운 데이터 관측 이후 온라인 경사 하강법(OGD)을 사용해 로컬 모델을 점진적으로 업데이트한다.
• 주기 인식 기반 집계 메커니즘은 시간 주기성과 예측 성능에 따라 로컬 모델에 가중치를 할당하여 글로벌 모델의 일반화 능력을 향상시킨다.
• 온라인 학습과 연합 학습을 통합하여 재학습 없이 변화하는 교통 패턴에 지속적으로 적응할 수 있도록 지원한다.
• 주기성과 성능에 의해 결정되는 가중 평균을 사용해 글로벌 모델을 반복적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 배치 학습 대비 온라인 학습 기반 연합 학습이 교통 흐름 예측 성능을 향상시키는가?
• RQ2 연합 학습 환경에서 교통 노드 간의 공간 상관관계를 어떻게 동적으로 평가할 수 있는가? 이는 교통 변동에 적응하기 위한 것이다.
• RQ3 모델 집계 과정에 주기적 패턴을 통합하면 글로벌 모델의 일반화 능력이 향상되는가?
• RQ4 제안된 주기 인식 가중 집계 메커니즘이 클라이언트 간 예측 오차 분산을 어느 정도 감소시키는가?

주요 결과

• FedOSTC는 METR-LA 및 PEMS-BAY 데이터셋에서 RMSE 및 MAE 측면에서 모든 베이스라인 모델, 즉 최신 기술 기반의 연합 학습 및 중심화된 모델보다 뛰어난 성능을 보였다.
• FedAvgOn 대비 FedOSTC에서 클라이언트 간 예측 오차 분산이 유의미하게 낮아, 더 뛰어난 일반화 능력을 보였다.
• 기존 최고의 연합 학습 방법인 CNFGNN보다도 낮은 RMSE와 MAE를 기록했으며, 진짜 값에 더 가까운 예측을 보였다.
• 로컬 에포크 수를 늘릴수록 예측 정확도는 향상되지만 계산 비용도 증가하므로 성능과 자원 사용 간의 상충 관계가 존재한다.
• 주기 인식 가중 집계 메커니즘이 특히 동적인 교통 조건에서 모델 일반화 능력을 효과적으로 향상시켰다.
• 온라인 학습과 점진적 업데이트를 통해 실시간 적응이 가능해졌으며, 재학습이 필요로 하지 않아 예측 지연이 감소했다.