[논문 리뷰] Short-term passenger flow prediction for multi-traffic modes: A Transformer and residual network based multi-task learning method

Jian Yang, Jinlei Zhang외 3명|arXiv (Cornell University)|2022. 02. 27.

Traffic Prediction and Management Techniques인용 수 4

한 줄 요약

이 논문은 수정된 Transformer 레이어와 잔차 연결을 조합한 다중 작업 학습 모델인 Res-Transformer를 제안하여 지하철, 택시, 버스 수단 간 단기 승객 유동량을 예측한다. 공간-시간적 의존성과 다중 수단 간 상관관계를 함께 모델링함으로써, 기준 모델 대비 실세계 베이징 데이터셋에서 뛰어난 정확도와 강건성을 달성한다.

ABSTRACT

With the prevailing of mobility as a service (MaaS), it becomes increasingly important to manage multi-traffic modes simultaneously and cooperatively. As an important component of MaaS, short-term passenger flow prediction for multi-traffic modes has thus been brought into focus. It is a challenging problem because the spatiotemporal features of multi-traffic modes are critically complex. Moreover, the passenger flows of multi-traffic modes differentiate and fluctuate significantly. To solve these problems, this paper proposes a multitask learning-based model, called Res-Transformer, for short-term inflow prediction of multi-traffic modes (subway, taxi, and bus). Each traffic mode is treated as a single task in the model. The Res-Transformer consists of two parts: (1) several modified Transformer layers comprising the conv-Transformer layer and the multi-head attention mechanism, which helps to extract the spatial and temporal features of multi-traffic modes, (2) the structure of residual network is utilized to obtain the correlations of different traffic modes and prevent gradient vanishing, gradient explosion, and overfitting. The Res-Transformer model is evaluated on two large-scale real-world datasets from Beijing, China. One is the region of a traffic hub and the other is the region of a residential area. Experiments are conducted to compare the performance of the proposed model with several baseline models. Results prove the effectiveness and robustness of the proposed method. This paper can give critical insights into the short-term inflow prediction for multi-traffic modes.

연구 동기 및 목표

• 다양한 교통 수단(지하철, 택시, 버스) 간 단기 승객 유동량을 통합 프레임워크에서 예측하는 데 도전하는 것.
• 다중교통 시스템 내 복잡한 공간-시간 패턴과 수단 간 상관관계를 모델링하는 것.
• 딥 러닝 아키텍처에서 기울기 소실과 과적합을 완화함으로써 예측 정확도와 모델 안정성을 향상시키는 것.
• 다양한 도시 지역—교통 허브와 주거 지역—에서의 실세계 데이터셋을 평가하는 것.

제안 방법

• 모델은 다중교통 유동량 데이터에서 공간적 및 시간적 특징을 추출하기 위해 컨볼루션-Transformer 및 다중 헤드 어텐션 메커니즘을 적용한 수정된 Transformer 레이어를 활용한다.
• 특징 학습을 향상시키고 훈련을 안정화하며 과적합을 감소시키기 위해 잔차 네트워크 구조를 통합한다.
• 지하철, 택시, 버스와 같은 각 교통 수단이 다중 작업 학습 프레임워크 내에서 별개이지만 공동 최적화되는 작업으로 간주된다.
• 하위 수준 특징을 공유하면서도 개별 예측을 위한 작업별 헤드를 유지함으로써, 교차 작업 지식 전이가 가능해진다.
• 두 개의 대규모 실세계 데이터셋(베이징에서 확보)을 기반으로 모델을 엔드 투 엔드로 훈련한다.
• 잔차 연결의 사용은 깊은 네트워크 최적화 중 기울기 소실 및 폭발을 방지하는 데 기여한다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 모델이 동시에 여러 교통 수단 간 단기 승객 유동량을 효과적으로 예측할 수 있는가?
• RQ2 공간-시간적 의존성과 수단 간 상관관계는 다중교통 시스템의 예측 성능에 어떤 영향을 미치는가?
• RQ3 공유 및 작업별 구성 요소를 갖춘 다중 작업 학습이 예측 정확도와 강건성에 얼마나 기여하는가?
• RQ4 잔차 네트워크의 통합이 다중교통 유동량 예측에서 훈련 안정성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• Res-Transformer 모델은 모든 교통 수단에서 루트 평균 제곱 오차(RMSE)와 평균 절대 오차(MAE) 모두에서 여러 기준 모델을 압도한다.
• 모델은 교통 허브와 주거 지역이라는 두 가지 다른 도시 지역에서 뛰어난 성능을 보이며 강력한 일반화 능력을 입증한다.
• 다중 작업 학습 설정은 단일 작업 기준 모델 대비 예측 정확도를 향상시키며, 특히 유동량이 낮은 수단인 택시의 경우 두드러진 효과가 있다.
• 제거 실험 결과, 수정된 Transformer와 잔차 네트워크 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 모델은 다양한 교통 네트워크 간 장거리 시간적 의존성과 공간적 상관관계를 효과적으로 포착한다.
• 잔차 연결의 통합은 특히 더 깊은 아키텍처에서 훈련의 불안정성과 과적합을 줄이는 데 기여한다.