[논문 리뷰] STGIN: A Spatial Temporal Graph-Informer Network for Long Sequence Traffic Speed Forecasting

Ruikang Luo, Yaofeng Song외 3명|arXiv (Cornell University)|2022. 10. 01.

Traffic Prediction and Management Techniques인용 수 11

한 줄 요약

이 논문은 교통 속도 예측에서 복잡한 공간적 상관관계와 장거리 시간적 관계를 모델링하기 위해 그래프 자기주도 네트워크(GAT)와 Informer 아키텍처를 통합한 새로운 공간-시간 그래프-Informer 네트워크인 STGIN을 제안한다. 이 모델은 두 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, ARIMA 대비 RMSE를 49.7% 감소시키고 60분 예측 수준까지 안정적이고 정확한 예측을 유지한다.

ABSTRACT

Accurate long series forecasting of traffic information is critical for the development of intelligent traffic systems. We may benefit from the rapid growth of neural network analysis technology to better understand the underlying functioning patterns of traffic networks as a result of this progress. Due to the fact that traffic data and facility utilization circumstances are sequentially dependent on past and present situations, several related neural network techniques based on temporal dependency extraction models have been developed to solve the problem. The complicated topological road structure, on the other hand, amplifies the effect of spatial interdependence, which cannot be captured by pure temporal extraction approaches. Additionally, the typical Deep Recurrent Neural Network (RNN) topology has a constraint on global information extraction, which is required for comprehensive long-term prediction. This study proposes a new spatial-temporal neural network architecture, called Spatial-Temporal Graph-Informer (STGIN), to handle the long-term traffic parameters forecasting issue by merging the Informer and Graph Attention Network (GAT) layers for spatial and temporal relationships extraction. The attention mechanism potentially guarantees long-term prediction performance without significant information loss from distant inputs. On two real-world traffic datasets with varying horizons, experimental findings validate the long sequence prediction abilities, and further interpretation is provided.

연구 동기 및 목표

• 지능형 교통 시스템에서 장기 시계열 교통 속도 예측의 과제를 해결한다.
• RNN이 장거리 시간적 상관관계를 포착하는 데 한계를 보이고 기울기 소실 문제를 겪는 점을 극복한다.
• 기존 시간적 모델이 포착하지 못하는 도로 네트워크 내 복잡한 공간적 상호의존성을 모델링한다.
• 그래프 신경망과 Informer 트랜스포머를 통합하여 장기간 시퀀스에 걸쳐 전역 주의를 가능하게 한다.
• 다양한 예측 수준, 특히 60분까지의 장기 예측을 포함하여 안정적이고 강력한 성능을 달성한다.

제안 방법

• 공간적 특징 추출을 위한 그래프 자기주도 네트워크(GAT)와 장기 시퀀스 시간 모델링을 위한 Informer를 조합한 하이브리드 아키텍처인 STGIN을 제안한다.
• GAT 레이어를 사용해 도로 세그먼트 간의 위상적 관계를 인코딩하여 비유클리드 교통 네트워크 내 공간적 상관관계를 포착한다.
• 요소화된 주의 설계를 갖춘 Informer의 멀티헤드 자기주도 주의 메커니즘을 활용해 장거리 시간적 상관관계를 효율적으로 모델링한다.
• 공간적 및 시간적 패턴을 함께 학습할 수 있도록 GAT와 Informer 모듈을 통합된 인코더-디코더 프레임워크에 통합한다.
• 시간 순서를 유지하고 장기간 시퀀스에 걸쳐 일반화 성능을 향상시키기 위해 Informer에 상대적 위치 인코딩을 적용한다.
• 다중 수준 예측을 위한 실세계 교통 속도 데이터셋에서 평균 제곱오차(MSE) 손실을 사용해 엔드 투 엔드 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 하이브리드 GNN-Transformer 모델이 기존 RNN 및 단독 GNN보다 장기 교통 속도 예측에서 우월한 성능을 보일 수 있는가?
• RQ2 Informer 아키텍처를 통해 전역 주의를 통합함으로써 장기간 시퀀스에서 예측 정확도가 얼마나 향상되는가?
• RQ3 기타 공간 모델링 기법에 비해 GAT는 도로 네트워크 내 공간적 상관관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ4 제안된 STGIN 모델은 60분 예측을 포함한 다양한 예측 수준에서 안정적인 성능을 유지하는가?
• RQ5 STGIN의 주의 메커니즘은 정적 성질에 의존하지 않고 주기적 및 급격한 변화하는 교통 패턴을 어떻게 학습할 수 있는가?

주요 결과

• STGIN은 Los-loop 데이터셋에서 15분 예측 과제에서 ARIMA 모델 대비 RMSE를 49.7% 감소시켰다.
• STGIN은 Los-loop 데이터셋의 15분 예측 과제에서 ARIMA 대비 예측 정확도를 9.7% 향상시켰다.
• 모델은 15, 30, 45, 60분의 네 가지 예측 수준에서 일관되고 뛰어난 성능을 유지하여 강력한 일반화 능력을 보였다.
• 두 실세계 데이터셋에서 GRU, Transformer, GCN+Transformer, STGCN 등의 베이스라인 모델을 모두 초월했다.
• 시각화 결과, STGIN은 단지 2개의 훈련 에포크 후에도 주기적 패턴을 신속히 학습하고 급격한 변화를 포착하는 것으로 나타났다.
• 16 에포크 후, STGIN은 15분 예측에서 진짜 값에 거의 완벽하게 맞추었으며, 60분 예측 역시 더 많은 훈련을 거치며 상당한 향상이 이루어졌다.