[논문 리뷰] PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction

Jiawei Jiang, Chengkai Han외 2명|arXiv (Cornell University)|2023. 01. 19.

Traffic Prediction and Management Techniques인용 수 22

한 줄 요약

PDFormer는 propagation delay-aware 공간-시간 자기주의를 도입하여 짧은- 및 긴-range 마스킹으로 교통 흐름을 예측하며, 최첨단 정확도와 해석 가능한 어텐션 맵을 달성합니다.

ABSTRACT

As a core technology of Intelligent Transportation System, traffic flow prediction has a wide range of applications. The fundamental challenge in traffic flow prediction is to effectively model the complex spatial-temporal dependencies in traffic data. Spatial-temporal Graph Neural Network (GNN) models have emerged as one of the most promising methods to solve this problem. However, GNN-based models have three major limitations for traffic prediction: i) Most methods model spatial dependencies in a static manner, which limits the ability to learn dynamic urban traffic patterns; ii) Most methods only consider short-range spatial information and are unable to capture long-range spatial dependencies; iii) These methods ignore the fact that the propagation of traffic conditions between locations has a time delay in traffic systems. To this end, we propose a novel Propagation Delay-aware dynamic long-range transFormer, namely PDFormer, for accurate traffic flow prediction. Specifically, we design a spatial self-attention module to capture the dynamic spatial dependencies. Then, two graph masking matrices are introduced to highlight spatial dependencies from short- and long-range views. Moreover, a traffic delay-aware feature transformation module is proposed to empower PDFormer with the capability of explicitly modeling the time delay of spatial information propagation. Extensive experimental results on six real-world public traffic datasets show that our method can not only achieve state-of-the-art performance but also exhibit competitive computational efficiency. Moreover, we visualize the learned spatial-temporal attention map to make our model highly interpretable.

연구 동기 및 목표

• 동적이고 장거리이며 시간 지연이 있는 공간 의존성을 다루어 정확한 교통 흐름 예측을 목표로 한다.
• 지역 지리적 이웃과 글로벌 시맨틱 이웃을 융합하는 공간 자기주의 모듈로 동적 공간 관계를 모델링한다.
• 교통 정보의 전파 지연을 명시적으로 예측 프로세스에 반영한다.
• 동적 시간 패턴을 포착하고 해석 가능한 공간-시간 어텐션 메커니즘을 제공한다.

제안 방법

• 세 가지 핵심 구성 요소를 갖춘 공간-시간 자기주의 위에 구축된 PDFormer를 제안한다. 짧은/긴-range 공간 의존성을 위한 GeoSSA와 SemSSA, 그리고 시간 역학을 위한 TSA.
• 역사적 패턴 메모리를 이용한 k-Shape 클러스터링 및 DTW 기반 시맨틱 이웃을 활용하는 지연 인지 특징 변환(DFT)을 도입하여 키 표현을 보강한다.
• 주의 계산에서 지역 지리 관계와 글로벌 시맨틱 관계를 강조하기 위해 두 개의 그래프 마스킹 행렬 M_geo와 M_sem을 사용한다.
• GeoSSA, SemSSA, TSA의 출력을 피처-이전 네트워크와 잔차 연결 전에 결합하는 다중 헤드 이질적 주의 융합을 사용한다.
• 구조적 및 주기적 정보를 주입하기 위한 그래프 라플라시안 임베딩과 시간 주기 임베딩이 포함된 데이터 임베딩 계층.
• 출력 계층은 재귀적 디코딩 없이 다중 스텝 예측을 위한 스킵 연결과 1x1 컨볼루션을 사용한다.

실험 결과

연구 질문

• RQ1 교통 데이터에 대해 동적 공간 의존성을 어떻게 효과적으로 모델링할 수 있는가?

주요 결과

• PDFormer는 MAE, MAPE, RMSE에서 여섯 개의 실제 교통 데이터셋(세 개의 그래프 기반 및 세 개의 격자 기반)에서 최첨단 성능을 달성한다.
• ablation 실험에서 SSA는 동적이고 장거리 공간 의존성을 포착하는 능력으로 GCN보다 우수하다.
• 두 마스킹 매트릭스(M_geo, M_sem)는 관심 있는 지역으로 주의를 안내하여 성능을 크게 향상시킨다.
• 지연 인지 특징 변환은 공간 전파 지연을 명시적으로 모델링함으로써 예측을 개선한다.
• PDFormer는 훈련 및 추론 효율성 면에서 여러 효율성 지표에서 베이스라인을 능가하며 경쟁력을 보여준다.
• 공간-시간 주의의 시각화는 근접한 영역과 시맨틱히 유사한 영역에 주의가 집중되는 해석 가능성을 보여준다.