[논문 리뷰] TrafficStream: A Streaming Traffic Flow Forecasting Framework Based on Graph Neural Networks and Continual Learning

Xu Chen, Junshan Wang외 1명|arXiv (Cornell University)|2021. 06. 11.

Traffic Prediction and Management Techniques참고 문헌 20인용 수 5

한 줄 요약

TrafficStream는 확장되는 네트워크 구조와 변화하는 교통 패턴을 가진 장기적인 변화하는 교통 네트워크를 다루기 위해 그래프 신경망(GNN)과 지속적 학습을 사용하는 스트리밍 교통 흐름 예측 프레임워크를 제안한다. 새로운 교통 패턴은 JS-분산 기반 특성 분석을 통해 융합하고, 과거 지식은 데이터 재생과 파라미터 스무딩을 통해 통합하여, 재학습과 유사한 정확도와 효율성을 달성하면서도 전체 재학습 대비 약 65%의 학습 시간을 절감한다.

ABSTRACT

With the rapid growth of traffic sensors deployed, a massive amount of traffic flow data are collected, revealing the long-term evolution of traffic flows and the gradual expansion of traffic networks. How to accurately forecasting these traffic flow attracts the attention of researchers as it is of great significance for improving the efficiency of transportation systems. However, existing methods mainly focus on the spatial-temporal correlation of static networks, leaving the problem of efficiently learning models on networks with expansion and evolving patterns less studied. To tackle this problem, we propose a Streaming Traffic Flow Forecasting Framework, TrafficStream, based on Graph Neural Networks (GNNs) and Continual Learning (CL), achieving accurate predictions and high efficiency. Firstly, we design a traffic pattern fusion method, cleverly integrating the new patterns that emerged during the long-term period into the model. A JS-divergence-based algorithm is proposed to mine new traffic patterns. Secondly, we introduce CL to consolidate the knowledge learned previously and transfer them to the current model. Specifically, we adopt two strategies: historical data replay and parameter smoothing. We construct a streaming traffic dataset to verify the efficiency and effectiveness of our model. Extensive experiments demonstrate its excellent potential to extract traffic patterns with high efficiency on long-term streaming network scene. The source code is available at https://github.com/AprLie/TrafficStream.

연구 동기 및 목표

• 장기적인 스트리밍 네트워크에서 네트워크 구조가 변화하고 노드가 추가되는 환경에서 정확한 교통 흐름 예측을 해결하기 위해.
• 시간이 지남에 따라 새로운 데이터와 노드가 등장할 때 정적 네트워크에서 학습된 모델에서 발생하는 치명적인 기억 상실(catastrophic forgetting)을 극복하기 위해.
• 새로운 교통 패턴을 효율적으로 융합하면서 이전에 학습한 지식을 유지하는 통합 프레임워크를 개발하기 위해.
• 동적 도시 교통 시스템에서 실시간으로 확장 가능하게 교통 예측 모델을 구현하기 위해.

제안 방법

• 노드 특성의 변화를 탐지하고 정량화하기 위해 JS-분산 기반 알고리즘을 도입하여 변화하는 네트워크에서 새로운 교통 패턴을 식별한다.
• 새로 감지된 패턴을 신규 노드와 기존 노드에서 모두 통합하여 GNN 모델에 융합하는 교통 패턴 융합 메커니즘을 적용한다.
• 과거 학습 데이터의 지식을 유지하고 기억 상실을 방지하기 위해 이력 데이터 재생을 통한 지속적 학습을 적용한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 파라미터 스무딩을 사용하여 점진적 업데이트 중에 학습을 안정화시킨다.
• 장기적인 성능 평가를 위해 실제 PEMS 데이터 기반으로 스트리밍 데이터셋 PEMSD3-Stream을 구축한다.
• 공간-시간적 종속성 모델링을 위해 GNN을 활용하고, 확장 가능한 점진적 학습을 위한 온라인 학습 전략을 통합한다.

실험 결과

연구 질문

• RQ1 전체 재학습 없이도 장기적인 네트워크 확장과 변화하는 교통 패턴에 효과적으로 적응할 수 있는 교통 예측 모델은 어떻게 설계할 수 있는가?
• RQ2 새로운 노드와 동적 패턴이 교통 네트워크에 등장할 때 치명적인 기억 상실을 방지하기 위한 기법은 무엇인가?
• RQ3 데이터 재생과 파라미터 스무딩을 병행할 경우 스트리밍 GNN에서 지식 통합에 어떤 개선 효과를 낼 수 있는가?
• RQ4 지속적 학습 기반 GNN 프레임워크는 계산 비용을 줄이면서도 전체 재학습 수준의 정확도를 얼마나 잘 유지할 수 있는가?

주요 결과

• TrafficStream는 전체 재학습 모델(Retrained-STModel)과 최신 기술(STGCN, STSGCN) 수준의 예측 정확도를 달성하며, MAE, RMSE, MAPE 값이 상한선 기준 약 1-2% 이내로 유사한 성능을 보인다.
• 재학습 대비 총 학습 시간을 약 65% 절감하여 장기적 구현에서 매우 높은 효율성을 입증한다.
• 제거 실험(ablation study) 결과, 새로운 패턴 융합과 지식 통합 모두 필수적임을 확인: 둘 중 하나를 생략할 경우 특히 치명적인 기억 상실 상황에서 성능 저하가 심각하게 발생한다.
• 지식 통합 측면에서 데이터 재생은 파라미터 스무딩 단독보다 우수하며, 두 기법의 조합이 가장 우수한 성능을 보여 상호 보완적 이점을 입증한다.
• 7년 평가 기간 전반에 걸쳐 TrafficStream는 안정적인 성능 유지를 유지하는 반면, Expansible-STModel는 기억 상실로 인한 성능 저하를 겪는다.
• JS-분산 기반 패턴 탐지 기법은 변화하는 교통 패턴을 효과적으로 식별하여 모델이 새로운 노드와 변화하는 동적 환경에 적응할 수 있도록 한다.