[논문 리뷰] STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting

Hangchen Liu, Zheng Dong외 5명|arXiv (Cornell University)|2023. 08. 21.

Traffic Prediction and Management Techniques인용 수 10

한 줄 요약

STAEformer은 vanilla Transformer에 시공간 적응 임베딩을 추가하여, 복잡한 그래프 구조 없이도 six real-world 교통 예측 데이터셋에서 최첨단(SOTA) 결과를 달성한다.

ABSTRACT

With the rapid development of the Intelligent Transportation System (ITS), accurate traffic forecasting has emerged as a critical challenge. The key bottleneck lies in capturing the intricate spatio-temporal traffic patterns. In recent years, numerous neural networks with complicated architectures have been proposed to address this issue. However, the advancements in network architectures have encountered diminishing performance gains. In this study, we present a novel component called spatio-temporal adaptive embedding that can yield outstanding results with vanilla transformers. Our proposed Spatio-Temporal Adaptive Embedding transformer (STAEformer) achieves state-of-the-art performance on five real-world traffic forecasting datasets. Further experiments demonstrate that spatio-temporal adaptive embedding plays a crucial role in traffic forecasting by effectively capturing intrinsic spatio-temporal relations and chronological information in traffic time series.

연구 동기 및 목표

• 데이터 표현에 집중하여 교통 예측의 개선을 촉진하고, 점점 더 복잡한 모델보다는.
• 기존의 특징 임베딩 및 주기성 임베딩을 보완하기 위한 새로운 시공간 적응 임베딩(Ea)을 도입한다.
• Ea를 탑재한 vanilla Transformer가 표준 벤치마크에서 최첨단 결과를 달성할 수 있음을 보인다.
• Ea, 주기성 임베딩 및 트랜스포머 구성요소가 시공간 패턴을 포착하는 데 얼마나 중요한지 ablation 연구를 통해 보여준다.

제안 방법

• 특징 임베딩(Ef), 주기성 임베딩(Ep), 시공간 적응 임베딩(Ea)을 결합하여 풍부한 입력 표현 Z = Ef || Ep || Ea를 형성하는 임베딩 계층을 개발한다.
• 시간 축과 공간 축을 따라 vanilla Transformer 블록을 적용하여 시간적 및 공간적 의존성을 모델링하고, 예측을 위한 회귀 계층을 따른다.
• METR-LA, PEMS-BAY, PEMS03, PEMS04, PEMS07, PEMS08의 여섯 개 트래픽 데이터셋을 대상으로 60분까지의 예측 구간을 평가한다.
• Ea, Ep, 시간적 Transformer 계층, 또는 공간/시간 트랜스포머를 제거한 ablation 연구를 수행하여 구성 요소의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 시공간 적응 임베딩을 갖춘 vanilla Transformer가 교통 예측에서 경쟁력 있거나 최첨단 성능을 달성할 수 있는가?
• RQ2 제안된 임베딩(Ef, Ep, Ea)이 교통 시계열의 고유한 시공간 및 연대 관계를 모델링하는 데 어떻게 기여하는가?
• RQ3 시간/공간 트랜스포머 구성 요소의 포함이나 제거가 예측 정확도에 미치는 영향은 무엇인가?

주요 결과

• STAEformer은 여러 비교기준 대비 여섯 개의 실세계 트래픽 예측 벤치마크에서 최첨단 성능을 달성한다.
• 시공간 적응 임베딩 Ea는 고유한 시공간 관계와 연대 정보를 포착하는 데 결정적인 역할을 한다.
• Ablation 연구는 Ea 또는 Ep 또는 트랜스포머 구성요소를 제거하면 성능이 저하됨을 보이며, 시간 및 공간 트랜스포머의 필요성을 강조한다.
• 입력을 시간적으로 섞으면 Ea 기반 모델의 성능 저하가 공간 임베딩보다 더 크게 나타나는데, 이는 Ea가 시간 순서를 인코딩하는 데 효과적임을 시사한다.