[논문 리뷰] DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction

He Li, Shiyu Zhang외 7명|arXiv (Cornell University)|2021. 10. 19.

Traffic Prediction and Management Techniques참고 문헌 5인용 수 4

한 줄 요약

DetectorNet는 다중 시각 시간 주의 모듈과 동적 주의 모듈을 사용하여 교통 예측에서 동적 공간적 및 시간적 상관관계를 모델링하는 트랜스포머 강화된 공간-시간 그래프 신경망을 제안한다. 이는 두 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성하여, 여러 예측 수준에서 MAE, RMSE 및 MAPE 측정치에서 11개의 고급 기준 모델을 초월한다.

ABSTRACT

Detectors with high coverage have direct and far-reaching benefits for road users in route planning and avoiding traffic congestion, but utilizing these data presents unique challenges including: the dynamic temporal correlation, and the dynamic spatial correlation caused by changes in road conditions. Although the existing work considers the significance of modeling with spatial-temporal correlation, what it has learned is still a static road network structure, which cannot reflect the dynamic changes of roads, and eventually loses much valuable potential information. To address these challenges, we propose DetectorNet enhanced by Transformer. Differs from previous studies, our model contains a Multi-view Temporal Attention module and a Dynamic Attention module, which focus on the long-distance and short-distance temporal correlation, and dynamic spatial correlation by dynamically updating the learned knowledge respectively, so as to make accurate prediction. In addition, the experimental results on two public datasets and the comparison results of four ablation experiments proves that the performance of DetectorNet is better than the eleven advanced baselines.

연구 동기 및 목표

• 기존의 GNN 기반 교통 예측 방법에서 정적 도로 네트워크 모델링의 한계를 해결하기 위해.
• 변화하는 도로 상태에 따라 변화하는 동적 공간 상관관계를 포착하기 위해.
• 다중 시각 주의 기반 메커니즘을 통해 장기 및 단기 시간 의존성을 모델링하기 위해.
• 동적 구조 지식 통합을 통해 다단계 교통 예측 정확도를 향상시키기 위해.
• 제안된 모델의 효과성을 11개의 최신 기술 수준 기준 모델과 비교하여 검증하기 위해.

제안 방법

• 장기, 중기, 단기 시간 의존성을 별도의 주의 헤드를 통해 캡처하는 다중 시각 시간 주의(MTA) 모듈을 도입한다.
• 교통 상태에 따라 그래프 구조를 동적으로 업데이트함으로써 시간에 따라 변화하는 공간 관계를 학습하는 동적 주의(DA) 모듈을 활용한다.
• 주목적 모듈 이전에 입력 특징을 고차원 표현으로 변환하기 위해 1D 컨볼루션 레이어를 사용한다.
• 학습 가능한 인접 행렬을 사용한 그래프 컨볼루션 네트워크(GCN)를 적용하여 동적으로 공간 의존성을 모델링한다.
• 자기 주의 메커니즘을 통합하여 장거리 시간 시퀀스 모델링을 향상시켜 다단계 예측 성능을 개선한다.
• 과적합을 방지하기 위해 가중치 감소와 드롭아웃(0.3)을 사용한 Adam 옵timizer를 사용하여 모델을 훈련하고, MAE, RMSE 및 MAPE를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 정적 그래프 구조에 비해 동적 공간 상관관계를 모델링하는 것이 교통 예측 정확도 향상에 기여하는가?
• RQ2 다중 시각 시간 주의가 장거리 및 다단계 교통 예측 성능을 향상시키는가?
• RQ3 동적 그래프 학습과 자기 주의의 통합이 예측의 정확도 및 견고성에 어떤 영향을 미치는가?
• RQ4 DetectorNet은 실세계 교통 데이터셋에서 기존의 최신 기술 수준 모델을 얼마나 초월하는가?
• RQ5 각 구성 요소(MTA, DA, SA)가 전체 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• METR-LA에서 30분 예측 시 DetectorNet은 MAE 3.06, RMSE 6.08을 기록하여 모든 11개의 기준 모델을 압도한다.
• PEMS-BAY에서 30분 예측 시 DetectorNet은 MAE 1.57, RMSE 3.54를 기록하여 비교된 모든 모델을 뛰어넘는다.
• 제거 실험 결과, 다중 시각 시간 주의(MTA) 또는 동적 주의(DA) 모듈을 제거할 경우 성능 저하가 발생하여 이들의 필수성을 확인한다.
• 자기 주의 메커니즋试로 인해 장거리 다단계 예측 성능이 크게 향상되어 RNN 및 TCN 기반 모델을 능가한다.
• 동적 주의 모듈은 변화하는 도로 관계를 효과적으로 포착하여 정적 GNN 기준 모델 대비 MAE를 0.1~0.3 감소시킨다.
• DetectorNet은 단기 및 장기 예측 모두에서 뛰어난 성능을 유지하며, PEMS-BAY에서는 MAPE가 4% 이하, METR-LA에서는 8.2% 이하를 기록한다.