[논문 리뷰] TrafFormer: A Transformer Model for Predicting Long-term Traffic

David Alexander Tedjopurnomo, Farhana Choudhury외 1명|arXiv (Cornell University)|2023. 02. 24.

Traffic Prediction and Management Techniques인용 수 5

한 줄 요약

TrafFormer는 장기 교통 예측을 위해 새로운 트랜스포머 기반 모델을 제안하며, 반복 모델의 한계를 극복하기 위해 공간-시간 다중 헤드 어텐션과 학습 가능한 시간-요일 임베딩을 사용하여 복잡한 시간 패턴을 포착한다. 실험 결과, METR-LA 및 PEMS-Bay 데이터셋에서 기존의 하이브리드 딥 러닝 모델을 모두 초월하는 성능을 보였다.

ABSTRACT

Traffic prediction is a flourishing research field due to its importance in human mobility in the urban space. Despite this, existing studies only focus on short-term prediction of up to few hours in advance, with most being up to one hour only. Long-term traffic prediction can enable more comprehensive, informed, and proactive measures against traffic congestion and is therefore an important task to explore. In this paper, we explore the task of long-term traffic prediction; where we predict traffic up to 24 hours in advance. We note the weaknesses of existing models--which are based on recurrent structures--for long-term traffic prediction and propose a modified Transformer model "TrafFormer". Experiments comparing our model with existing hybrid neural network models show the superiority of our model.

연구 동기 및 목표

• 기존 연구가 단기 예측(최대 1시간)에 국한되어 있음에 따라 장기 교통 예측 분야의 연구 격차를 메우기 위해.
• 오차 전파로 인해 장기 예측에서 불안정해지는 순환 신경망의 문제를 해결하기 위해.
• 단기, 중기, 장기 교통 패턴을 효과적으로 포착할 수 있는 새로운 딥 러닝 아키텍처를 개발하기 위해.
• 공간-시간 다중 헤드 어텐션과 학습 가능한 시간-요일 임베딩을 갖춘 새로운 트랜스포머 기반 모델인 TrafFormer을 제안하기 위해.
• 최신 하이브리드 신경망 모델에 비해 첫날 예측 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 24시간 예측 수평선을 고려해 장기 교통 예측에 특화된 수정된 트랜스포머 모델인 TrafFormer을 도입하기 위해.
• 다양한 시간 단위와 센서 위치 간의 의존성을 모델링하기 위해 공간-시간 다중 헤드 어텐션 메커니즘을 통합하기 위해.
• 시간대와 요일의 패턴을 캡처하기 위해 시간-요일 임베딩을 학습 가능한 방식으로 사용하여 중기 및 장기 추세를 포착하기 위해.
• 오차 누적을 방지하기 위해 순환 구조를 자기 어텐션으로 대체하기 위해.
• 과거 1시간 및 과거 1일 데이터를 입력으로 사용하여 루프 감지기에서 수집한 역사적 교통 속도 및 유량 데이터를 엔드 투 엔드로 훈련하기 위해.
• 시간과 요일 특성의 주기성 모델링을 향상시키기 위해 주기적 시간 특성에 맞게 조정된 위치 인코딩을 적용하기 위해.

Figure 2: The time-day embedding process

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 장기 교통 예측(최대 24시간)에서 순환 신경망 기반 모델을 능가할 수 있는가?
• RQ2 정적 주기적 특성에 비해 학습 가능한 시간-요일 임베딩이 중기 및 장기 교통 패턴을 포착하는 데 얼마나 효과적인가?
• RQ3 과거 1시간 데이터와 과거 1일 데이터 중 어느 것이 장기 예측 정확도에 더 기여하는가?
• RQ4 공간-시간 다중 헤드 어텐션 메커니즘이 여러 센서와 시간 단위 간의 성능 향상에 어떻게 기여하는가?
• RQ5 TrafFormer 아키텍처의 어떤 구성 요소가 성능 향상에 가장 기여하는가? (추론 실험 결과를 통해 확인)

주요 결과

• METR-LA 및 PEMS-Bay 데이터셋에서 모든 평가 지표(RMSE, MAE, MAPE)에서 TrafFormer가 기준 모델 대비 최고의 성능을 기록했다.
• 추론 실험 결과, 시간-요일 임베딩이 성능 향상에 크게 기여함을 확인했으며, 주기적 특성로 대체할 경우 성능 저하가 발생했다.
• 과거 1시간 데이터만 사용하는 경우(시간 전용) 과거 1일 데이터를 사용하는 경우보다 성능이 열 劣하므로 중기 패턴의 중요성을 확인했다.
• 일 전용 설정은 훈련 시퀀스 간 큰 간격(2시간)으로 인해 학습과 모델 안정성에 악영향을 미쳐 성능이 열 劣했다.
• 속도 전용 입력은 성능이 열 떨어지며, 정확한 장기 예측을 위해서는 시간적 및 공간적 맥락이 필수적임을 확인했다.
• 공간-시간 다중 헤드 어텐션 메커니즘이 센서 및 시간 단위 간의 복잡한 의존성을 효과적으로 모델링하여 뛰어난 일반화 성능을 기여했다.

Figure 3: Roads covered by the two datasets.