[논문 리뷰] Spatial-Temporal Transformer Networks for Traffic Flow Forecasting

Mingxing Xu, Wenrui Dai외 5명|arXiv (Cornell University)|2020. 01. 09.

Traffic Prediction and Management Techniques참고 문헌 31인용 수 265

한 줄 요약

이 논문은 공간-시간 변환기 네트워크(STTNs)를 도입하여 동적 방향성 공간 의존성과 장기 시간 의존성을 모델링하여 장기 교통 흐름 예측을 향상시킵니다. STTNs는 PeMS-BAY와 PeMSD7(M)에서 특히 더 긴 시계열에서 경쟁력 있고 최첨단 성능을 달성합니다.

ABSTRACT

Traffic forecasting has emerged as a core component of intelligent transportation systems. However, timely accurate traffic forecasting, especially long-term forecasting, still remains an open challenge due to the highly nonlinear and dynamic spatial-temporal dependencies of traffic flows. In this paper, we propose a novel paradigm of Spatial-Temporal Transformer Networks (STTNs) that leverages dynamical directed spatial dependencies and long-range temporal dependencies to improve the accuracy of long-term traffic forecasting. Specifically, we present a new variant of graph neural networks, named spatial transformer, by dynamically modeling directed spatial dependencies with self-attention mechanism to capture realtime traffic conditions as well as the directionality of traffic flows. Furthermore, different spatial dependency patterns can be jointly modeled with multi-heads attention mechanism to consider diverse relationships related to different factors (e.g. similarity, connectivity and covariance). On the other hand, the temporal transformer is utilized to model long-range bidirectional temporal dependencies across multiple time steps. Finally, they are composed as a block to jointly model the spatial-temporal dependencies for accurate traffic prediction. Compared to existing works, the proposed model enables fast and scalable training over a long range spatial-temporal dependencies. Experiment results demonstrate that the proposed model achieves competitive results compared with the state-of-the-arts, especially forecasting long-term traffic flows on real-world PeMS-Bay and PeMSD7(M) datasets.

연구 동기 및 목표

• Highly dynamic spatial-temporal dependencies 속에서 정확한 장기 교통 예측의 도전을 해결한다.
• 시간에 따라 변하는 방향성 공간 관계를 포착하기 위한 공간 변환기를 도입한다.
• 다단 예측을 위한 장기 시간 의존성을 모델링하기 위한 시간 변환기를 도입한다.
• 교통 네트워크에서 공간-시간 모델링을 위한 효율적이고 확장 가능한 학습을 가능하게 한다.

제안 방법

• 공간 변환기와 시간 변환기를 포함하는 공간-시간 블록 아키텍처를 정의한다.
• 정적 그래프 컨볼루션과 동적 그래프 컨볼루션을 게이트 융합 메커니즘으로 결합하여 동적 공간 의존성을 모델링한다.
• topology와 시간을 통합하기 위해 학습 가능한 공간-시간 위치 임베딩을 사용한다.
• 공간 및 시간 변환기에서 자기 주의를 적용하여 장-range 의존성을 포착한다.
• 두 층의 예측 헤드를 사용하여 다단 예측을 병렬로 생성하도록 학습한다.
• STTN을 메시지 패싱 의미를 갖는 동적 그래프 신경망으로 공식화한다.

실험 결과

연구 질문

• RQ1 교통 네트워크에 대해 동적 방향성 공간 의존성을 효과적으로 어떻게 모델링할 수 있는가?
• RQ2 시간 변환기가 다단 예측을 개선하기 위해 장기 시간 의존성을 포착할 수 있는가?
• RQ3 공간 및 시간 변환기를 통합하는 것이 고정된 공간 배열 모델보다 장기 정확도를 더 높일 수 있는가?

주요 결과

• STTN은 실제 데이터셋 PeMSD7(M)와 PEMS-BAY에서 특히 장기 예측에서 현저한 이점을 가진 최첨단 방법에 근접한 성능을 보여준다.
• 공간 변환기는 고정 그래프 컨볼루션과 동적 그래프 컨볼루션을 통해 정역 토폴로지 주도형 및 동적 교통 조건 주도형 공간 패턴을 모두 학습한다.
• 시간 변환기는 자기 주의를 활용하여 장기 시간 의존성을 모델링하고 동시에 다단 예측을 가능하게 한다.
• 게이트 메커니즘은 고정 및 동적 컨볼루션으로부터 얻은 공간 특징을 효과적으로 융합하여 강건한 특징 표현을 개선한다.
• 이 모델은 효율적인 병렬 학습과 확장 가능한 장기 의존성 모델링을 지원하여 기존 접근법보다 장기 예측에서 우수하다.