[논문 리뷰] Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting

Aosong Feng, Leandros Tassiulas|arXiv (Cornell University)|2022. 07. 09.

Traffic Prediction and Management Techniques인용 수 5

한 줄 요약

이 논문은 유연한 적응형 그래프 위에서 국소 다중 머리 자기주의를 사용하여 교차 공간-시간 상관관계를 직접 모델링하는 적응형 그래프 공간-시간 트랜스포머 네트워크(ASSTN)를 제안하며, 장기 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traffic flow forecasting on graphs has real-world applications in many fields, such as transportation system and computer networks. Traffic forecasting can be highly challenging due to complex spatial-temporal correlations and non-linear traffic patterns. Existing works mostly model such spatial-temporal dependencies by considering spatial correlations and temporal correlations separately and fail to model the direct spatial-temporal correlations. Inspired by the recent success of transformers in the graph domain, in this paper, we propose to directly model the cross-spatial-temporal correlations on the spatial-temporal graph using local multi-head self-attentions. To reduce the time complexity, we set the attention receptive field to the spatially neighboring nodes, and we also introduce an adaptive graph to capture the hidden spatial-temporal dependencies. Based on these attention mechanisms, we propose a novel Adaptive Graph Spatial-Temporal Transformer Network (ASTTN), which stacks multiple spatial-temporal attention layers to apply self-attention on the input graph, followed by linear layers for predictions. Experimental results on public traffic network datasets, METR-LA PEMS-BAY, PeMSD4, and PeMSD7, demonstrate the superior performance of our model.

연구 동기 및 목표

• 기존 모델이 공간적 및 시간적 의존성을 별도로 분해하는 데서 비롯하는 한계를 해결하여 직접적인 교차 공간-시간 상관관계를 모델링한다.
• 진정한 교통 의존성을 반영하지 못할 수 있는 정적 지리적 인접 행렬에 의존하는 문제를 해결한다.
• 출퇴근 시간대와 같은 이중 방향 교통 패tern이 나타나는 동안 시간에 따라 변화하는 공간적 상관관계를 모델링한다.
• 공간-시간 그래프 내 노드 간의 복잡하고 시간에 따라 변화하는 상호작용을 포착하여 장기 교통 예측 성능을 향상시킨다.
• 계산 복잡도를 줄이면서도 성능을 유지하는 확장 가능한 주의 메커니즘을 개발한다.

제안 방법

• 교차 공간-시간 의존성을 효율적으로 모델링하기 위해 국소 다중 머리 자기주의(local MSA)를 사용하는 새로운 공간-시간 자기주의 메커니즘을 제안한다.
• 데이터에서 노드 간 상관관계를 동적으로 학습하는 적응형 그래프 학습 모듈을 도입하여 고정된 지리적 인접 행렬을 대체한다.
• 각 트랜스포머 블록 내에서 공간적 및 시간적 주의 특징을 효과적으로 융합하기 위해 게이팅 퓨전 메커니즘을 설계한다.
• 적응형 인접 행렬에 마스크 기반 희소화를 적용하여 높은 상관관계를 가지는 노드 쌍에 집중하고 계산량을 줄인다.
• 시간과 공간을 모두 고려한 계층적 의존성을 포착하기 위해 잔차 연결을 사용한 다중 공간-시간 주의 레이어를 스택한다.
• 모델의 공간적 및 시간적 위치를 고려한 노드 임베딩을 사용하여 이전의 관련 공간적 및 시간적 맥락을 주의 집중에 보다 효과적으로 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기주의를 통한 직접적인 교차 공간-시간 상관관계 모델링이 별도의 공간적 및 시간적 모델링 대비 교통 예측 정확도를 향상시키는가?
• RQ2 고정된 지리적 인접 행렬 대비 데이터 기반의 진정한 노드 간 의존성을 더 효과적으로 포착할 수 있는가?
• RQ3 국소 다중 머리 자기주의와 적응형 그래프 학습의 조합이 특히 장기 예측에서 더 높은 성능을 내는가?
• RQ4 전체, 분해, 국소, 적응형 주의 메커니즘 간 정확도, 학습 안정성, 추론 속도 측면에서의 성능 비교는 어떠한가?
• RQ5 모델 성능이 비지리적이지만 의미 있는 교통 상관관계를 드러내는 적응형 인접 행렬의 능력에 얼마나 의존하는가?

주요 결과

• ASTTN은 METR-LA, PEMS-BAY, PeMSD4, PeMSD7에서 최신 기술 수준의 성능을 달성하였으며, PEMS-BAY에서 15분 예측 수준에서 1.32 MAE, 120분 예측 수준에서 1.72 MAE를 기록했다.
• DCRNN, STGCN, Graph WaveNet, GMAN을 모두 능가하며, 특히 120분 예측 수준에서 성능 향상이 두드러진다.
• 제거 실험 결과, 적응형 국소 MSA 모듈을 제거한 ASTTN-NA는 PEMS-BAY에서 15분 예측 시 1.45 MAE를 기록하여 이 모듈의 성능에 핵심적인 기여를 한다는 것을 확인했다.
• 적응형 인접 행렬은 원래 그래프에 존재하지 않는 비지리적 상관관계, 예를 들어 장거리 교통 전파 효과를 드러내어 진정한 의존성을 포착할 수 있음을 검증했다.
• 분해 및 전체 주의 메커니즘은 과적합 및 높은 계산 비용으로 인해 성능이 열 劣하다. 반면 적응형 국소 MSA는 정확도와 효율성의 최적 균형을 달성했다.
• 모델 성능은 적응형 그래프 및 게이팅 퓨전 구성 요소에 가장 민감하며, ASTTN-NE(임베딩 없음) 및 ASTTN-NF(퓨전 없음)는 성능 저하가 뚜렷하게 나타났다.