[논문 리뷰] CDGNet: A Cross-Time Dynamic Graph-based Deep Learning Model for Traffic Forecasting

Yuchen Fang, Yanjun Qin외 5명|arXiv (Cornell University)|2021. 12. 06.

Traffic Prediction and Management Techniques인용 수 9

한 줄 요약

CDGNet는 시간 간의 동적 그래프 기반 GCN 모델을 제안하여 각 시간 슬라이스 내의 내부 공간적 상관관계와 이전 시간 슬라이스 간의 상호 공간적 상관관계를 모두 포착한다. 게이팅 메커니즘을 통해 희박하고 현실적인 공간 상관관계를 강제함으로써 도로 네트워워크에서 장거리 시간적 전파 효과를 모델링함으로써, 세 개의 실세계 교통 예측 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Traffic forecasting is important in intelligent transportation systems of webs and beneficial to traffic safety, yet is very challenging because of the complex and dynamic spatio-temporal dependencies in real-world traffic systems. Prior methods use the pre-defined or learnable static graph to extract spatial correlations. However, the static graph-based methods fail to mine the evolution of the traffic network. Researchers subsequently generate the dynamic graph for each time slice to reflect the changes of spatial correlations, but they follow the paradigm of independently modeling spatio-temporal dependencies, ignoring the cross-time spatial influence. In this paper, we propose a novel cross-time dynamic graph-based deep learning model, named CDGNet, for traffic forecasting. The model is able to effectively capture the cross-time spatial dependence between each time slice and its historical time slices by utilizing the cross-time dynamic graph. Meanwhile, we design a gating mechanism to sparse the cross-time dynamic graph, which conforms to the sparse spatial correlations in the real world. Besides, we propose a novel encoder-decoder architecture to incorporate the cross-time dynamic graph-based GCN for multi-step traffic forecasting. Experimental results on three real-world public traffic datasets demonstrate that CDGNet outperforms the state-of-the-art baselines. We additionally provide a qualitative study to analyze the effectiveness of our architecture.

연구 동기 및 목표

• 기존 방법이 교통 네트워크에서 장거리 및 히스테리시스 기반 공간 상관관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 각 시간 슬라이스 내에서뿐만 아니라 시간 간의 동적 공간 상관관계를 모델링하여 실제 교통 사건의 전파 지연을 반영하기 위해.
• 학습 가능한 게이팅 메커니즘을 도입하여 교통 그래프의 비물리적 연결으로 인한 노이즈를 줄이고, 희박화를 통해 공간 상관관계를 강제하기 위해.
• 다중 단계 예측을 위해 교차 시간 동적 그래프 컨벌루션을 효과적으로 통합하는 인코더-디코더 아키텍처를 설계하기 위해.
• 최신 기술 수준의 기준 모델들과 비교하여 실세계 교통 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• CDGNet는 각 시간 슬라이스와 그 이전 시간 슬라이스 간의 공간 상관관계를 계산하는 교차 시간 동적 그래프 컨볼루션 네트워크(CDGCN)를 도입하여 교통 영향의 시간적 전파를 모델링한다.
• 모델은 학습 가능한 게이팅 메커니즘을 사용하여 교차 시간 동적 그래프에서 비필수 엣지를 제거하여 현실적인 교통 상관관계 패tern과 일치하는 희박성을 강제한다.
• CDGCN을 인코더에 통합하여 과거 의존성을 모델링하고, CDGCN-ED를 디코더에 통합하여 교차 시간 공간 주의 메커니즘을 사용해 향후 시간 단계를 예측하는 새로운 인코더-디코더 아키텍처를 제안한다.
• CDGCN은 다중 헤드 자기주도 주의를 사용하여 시간 간 센서 간의 동적 엣지 가중치를 계산하여 변화하는 공간 관계를 포착한다.
• 모델은 다중 단계 예측 작업에서 MAE, RMSE, MAPE 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 깊이(L), 주의 헤드 수(h), 헤드 차원(d_h)에 대한 초모델 튜닝이 수행되었으며, 최적 설정은 L=3, h=8, d_h=8에서 도출되었다.

실험 결과

연구 질문

• RQ1 시간 간 공간 상관관계를 모델링하면 내부 슬라이스 공간 모델링을 넘어서 다중 단계 교통 예측 정확도를 향상시킬 수 있는가?
• RQ2 지연된 교통 확산과 같은 시간적 전파 효과를 포함할 경우 예측 성능에 어떤 영향을 미치는가?
• RQ3 동적 그래프의 희박화가 교통 예측에서 모델 성능과 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 제안된 교차 시간 GCN 기반 인코더-디코더 아키텍처는 정적 또는 시간 슬라이스별 동적 그래프를 사용하는 표준 아키텍처보다 우월한가?
• RQ5 모델은 네트워크 깊이, 주의 헤드 수, 헤드 차원과 같은 핵심 초모델 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• CDGNet는 METR-LA, PEMS-Bay, PEMS04 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준 성능을 달성하였으며, 모든 예측 수준에서 MAE, RMSE, MAPE 측정치에서 SOTA 방법을 초월한다.
• 절단 실험 결과, CDGCN를 정적 그래프(Basic)로 대체할 경우 성능 저하가 발생함을 확인하여, 시간 인식 동적 공간 모델링의 이점이 입증된다.
• SAtt(공간 자기주도 주의)는 Basic보다 성능이 뛰어나, 거리 기반 정적 그래프보다 데이터 기반 동적 그래프가 더 효과적임을 시사한다.
• DGCN(동적 GCN)은 SAtt보다 성능이 뛰어나, 주의 기반 모델보다 학습 가능한 동적 그래프의 이점이 있음을 보여준다.
• CDGCN는 DGCN보다 뚜렷하게 성능이 뛰어나, 히스테리시스 효과를 포착하기 위해 교차 시간 공간 의존성이 중요한 역할을 한다는 점을 입증한다.
• 시각화 결과, CDGNet는 지연된 상관관계(예: 센서 9가 후속에 센서 29에 영향을 미침)를 정확히 식별하는 반면, SAtt와 DGCN는 이러한 시간 전파를 포착하지 못함을 확인했다.