[논문 리뷰] DSTCGCN: Learning Dynamic Spatial-Temporal Cross Dependencies for Traffic Forecasting

Binqing Wu, Ling Chen|arXiv (Cornell University)|2023. 07. 02.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 FFT 기반의 주의 메커니즘과 동적 크로스 그래프 구축 모듈을 사용하여 시간에 따라 변화하는 공간적 및 시간적 상호의존성을 함께 모델링하는 동적 공간-시간 교차 그래프 컨볼루션 네트워크인 DSTCGCN을 제안한다. 정적 사전 지식에 의존하지 않고 적응형, 희소적, 방향성 있는 크로스 의존성을 학습함으로써 여섯 개인 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Traffic forecasting is essential to intelligent transportation systems, which is challenging due to the complicated spatial and temporal dependencies within a road network. Existing works usually learn spatial and temporal dependencies separately, ignoring the dependencies crossing spatial and temporal dimensions. In this paper, we propose DSTCGCN, a dynamic spatial-temporal cross graph convolution network to learn dynamic spatial and temporal dependencies jointly via graphs for traffic forecasting. Specifically, we introduce a fast Fourier transform (FFT) based attentive selector to choose relevant time steps for each time step based on time-varying traffic data. Given the selected time steps, we introduce a dynamic cross graph construction module, consisting of the spatial graph construction, temporal connection graph construction, and fusion modules, to learn dynamic spatial-temporal cross dependencies without pre-defined priors. Extensive experiments on six real-world datasets demonstrate that DSTCGCN achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존 STGNN 모델들이 교통 네트워크 내에서 시간에 따라 변화하는 공간-시간 교차 의존성을 모델링하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 거리 또는 유사도 행렬과 같은 정적 그래프에 의존함으로써 변화하는 공간적 및 시간적 관계를 포착하지 못하는 문제를 해결하기 위해.
• 학습 가능한 희소적이고 방향성 있는 그래프 융합 기반의 메커니즘을 통해 동적 공간적 및 시간적 의존성을 동시에 모델링하는 방법을 개발하기 위해.
• 주요 시간 단계만 주의 메커니즘을 통해 선택함으로써 계산 복잡도를 줄이고 예측 정확도를 유지하기 위해.
• 다양한 실세계 데이터셋에서 동적 교차 의존성이 교통 예측 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• FFT 기반 주의 선택기(attention selector)는 시간에 따라 변화하는 교통 데이터를 기반으로 각 시간 단계에 대해 가장 관련성이 높은 이전 시간 단계를 동적으로 식별하여 시간 이웃 수와 계산 부담을 감소시킨다.
• 동적 크로스 그래프 구축 모듈은 시간에 따라 변화하는 공간 그래프와 시간 연결 그래프를 방향성 있고 희소한 방식으로 융합하여 교차 의존성을 모델링한다.
• 공간 그래프는 센서 간에 학습된 동적 상관관계를 기반으로 구성되어, 고정된 거리 외부의 비기하학적 숨겨진 공간적 관계를 포착한다.
• 시간 연결 그래프는 시간 단계 간의 시간에 따라 변화하는 의존성을 모델링하며, 주로 FFT를 통해 계산된 주의 가중치를 활용해 관련성이 높은 이전 기간을 우선순위로 한다.
• 융합 모듈은 학습 가능한 희소 그래프 컨볼루션 기반 메커니즘을 통해 공간적 및 시간적 구성 요소를 융합하며, 동적이고 교차 차원의 의존성을 유지한다.
• 모델은 정적 사전 지식 없이 표준 회귀 손실을 사용하여 교통 흐름 및 속도 예측 작업에서 엔드 투 엔드로 훈련된다.

Figure 1: Architecture of DSTCGCN. (a) Main calculation process of DSTCGCN using GRU as the backbone. (b) Choosing process of relevant traffic data via the FFT-based attentive selector with the selected indices $\boldsymbol{I}_{\text{sel}}$ and relevant weights $\boldsymbol{W}_{\text{sel}}$ . (c) Dy

실험 결과

연구 질문

• RQ1 빠른 푸리에 변환 기반 주의 메커니즘이 교통 예측을 위해 동적이고 관련성이 높은 시간 단계를 효과적으로 식별할 수 있는가?
• RQ2 정적 그래프 사전 지식에 의존하지 않고도 동적 크로스 그래프 구축 모듈이 시간에 따라 변화하는 공간-시간 의존성을 학습할 수 있는가?
• RQ3 공간적 및 시간적 교차 의존성을 동시에 모델링하는 것이 정적 또는 별도의 의존성 모델을 사용하는 모델보다 더 높은 예측 정확도를 달성하는가?
• RQ4 대규모 교통 네트워크에서 DSTCGCN은 계산 효율성과 예측 성능 사이의 균형을 어떻게 유지하는가?
• RQ5 모델은 거리 기반 그래프에 반영되지 않은 숨겨진 비기하학적 공간 상관관계를 포착할 수 있는가?

주요 결과

• DSTCGCN은 여섯 개인 실세계 교통 예측 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, MAE 및 RMSE 지표 모두에서 기존 SOTA 방법을 능가한다.
• PEMS07에서 DSTCGCN은 MAE 20.37을 기록했으며, ASTGCN(24.01), STSGCN(25.51), TraverseNet(21.99)보다 낮은 수치를 기록했고, 파라미터 수가 더 적다.
• 모델은 총 900,858개의 파라미터를 가지며, PEMS07에서 에포크당 훈련 시간이 3.83분으로, TraverseNet(6.01분/에포크) 및 STSGCN(5.52분/에포크)보다 현저히 효율적이다.
• METR-LA에서의 사례 연구 결과, 학습된 동적 공간 행렬이 기하학적 관계뿐 아니라 숨겨진 공간 상관관계도 포착하며 시간에 따라 변화하는 의존성을 보였다.
• FFT 기반 주의 메커니즘이 높은 관련성을 가진 시간 단계(예: 한 주기 내에서 시간 단계 3, 11, 4)를 성공적으로 식별하여 동적 시간 의존성 모델링의 효과를 입증했다.
• 동적 크로스 그래프 구축 모듈은 희소성을 유지하고 전체 연결성을 피하기 때문에 과적합 위험을 감소시켰다.

Figure 2: FFT-based attentive selector with temporal normalization.