[논문 리뷰] Learning dynamic and hierarchical traffic spatiotemporal features with Transformer

Haoyang Yan, Xiaolei Ma|arXiv (Cornell University)|2021. 04. 12.

Traffic Prediction and Management Techniques인용 수 24

한 줄 요약

본 논문은 멀티헤드 어텐션과 마스킹 어텐션을 사용하여 장기 예측을 위한 동적 계층적 시공간 트래픽 특성을 모델링하는 Traffic Transformer를 제시하고, 최첨단 방법들을 능가한다.

ABSTRACT

Traffic forecasting is an indispensable part of Intelligent transportation systems (ITS), and long-term network-wide accurate traffic speed forecasting is one of the most challenging tasks. Recently, deep learning methods have become popular in this domain. As traffic data are physically associated with road networks, most proposed models treat it as a spatiotemporal graph modeling problem and use Graph Convolution Network (GCN) based methods. These GCN-based models highly depend on a predefined and fixed adjacent matrix to reflect the spatial dependency. However, the predefined fixed adjacent matrix is limited in reflecting the actual dependence of traffic flow. This paper proposes a novel model, Traffic Transformer, for spatial-temporal graph modeling and long-term traffic forecasting to overcome these limitations. Transformer is the most popular framework in Natural Language Processing (NLP). And by adapting it to the spatiotemporal problem, Traffic Transformer hierarchically extracts spatiotemporal features through data dynamically by multi-head attention and masked multi-head attention mechanism, and fuse these features for traffic forecasting. Furthermore, analyzing the attention weight matrixes can find the influential part of road networks, allowing us to learn the traffic networks better. Experimental results on the public traffic network datasets and real-world traffic network datasets generated by ourselves demonstrate our proposed model achieves better performance than the state-of-the-art ones.

연구 동기 및 목표

• GCN 기반 교통 예측에서 고정 인접성에 의존하는 것을 넘어설 필요성을 제시한다.
• 교통 네트워크에서 동적 시공간 의존성을 포착하기 위한 Transformer 기반 프레임워크를 제안한다.
• 데이터 주도적 어텐션 메커니즘을 통해 계층적 시공간 특징을 추출한다.
• 어텐션 가중치를 분석하여 네트워크 영향력을 해석 가능하게 한다.

제안 방법

• 교통 데이터에 대한 공간-시간 그래프 모델링에 Transformer 아키텍처를 적용한다.
• 멀티헤드 어텐션을 사용하여 동적 시공간 의존성을 학습하고, 시간 예측을 위해 마스킹된 멀티헤드 어텐션을 활용한다.
• 어텐션 레이어에서 추출된 시공간 특징을 계층적으로 융합하여 최종 예측을 수행한다.
• 어텐션 가중치 매트릭스를 활용하여 영향력 있는 도로 네트워크 구성요소를 식별한다.
• 공개 데이터셋과 실세계 데이터셋에서 향상된 예측 성능을 입증한다.

실험 결과

연구 질문

• RQ1 Traffic Transformer가 교통 네트워크에서 동적이고 계층적인 시공간 의존성을 모델링할 수 있는가?
• RQ2 어텐션 가중치 매트릭스가 예측을 위해 도로 네트워크의 영향력 있는 부분을 어떻게 반영하는가?
• RQ3 제안된 모델이 최첨단 방법과 비교하여 장기 교통 예측을 개선하는가?

주요 결과

• Traffic Transformer는 공공 교통 데이터셋과 실세계 데이터셋에서 최첨단 방법들보다 더 나은 성능을 달성한다.
• 어텐션 메커니즘은 교통 데이터로부터 시공간 특징의 계층적 추출을 가능하게 한다.
• 어텐션 가중치 분석은 교통 예측에 있어 영향력 있는 도로 및 네트워크 영역을 식별하는 데 도움을 준다.