[논문 리뷰] TRAILER: Transformer-based Time-wise Long Term Relation Modeling for Citywide Traffic Flow Prediction.

Hao Xue, Flora D. Salim|arXiv (Cornell University)|2020. 11. 11.

Traffic Prediction and Management Techniques참고 문헌 12인용 수 2

한 줄 요약

TRAILER는 장기적인 시간적 관계를 모델링하기 위해 전용 장기 관계 모듈을 통해 주기적 패턴을 명시적으로 포착하고, 일致성 모듈과 손실을 통해 예측된 관계와 교통 흐름 간의 일致성을 강제함으로써 도시 전체 교통 흐름 예측을 위한 트랜스포머 기반 아키텍처를 제안한다. 이는 세 개의 실세계 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Traffic flow prediction is a crucial task in enabling efficient intelligent transportation systems and smart cities. Although there has been rapid progress in this area in the last few years, given the major advances of deep learning techniques, it remains a challenging task because of the inherent periodic characteristics of traffic flow sequence. To incorporate the periodicity in the prediction process, existing methods have observed three components separately as the input of prediction models, i.e., the closeness, period, and trend components. The long term relation of these components has not been fully addressed. In this paper, we present a novel architecture, TRAILER (TRAnsformer-based tIme-wise Long tErm Relation modeling), to predict traffic flows more effectively. First, we explicitly design a Transformer based long term relation prediction module to model the long term relation and predict the periodic relation to be used for the downstream task. Second, we propose a consistency module at the target time interval, in order to model the consistency of the predicted periodic relation and the relation inferred from the predicted traffic flow tensor. Finally, based on the consistency module, we introduce a consistency loss to stabilize the training process and further improve the prediction performance. Through extensive experiments, we show the superiority of the proposed method on three real-world datasets and the effectiveness of each module in TRAILER.

연구 동기 및 목표

• 장기적인 시간적 의존성을 갖는 교통 흐름 시계열, 특히 주기적 특성을 효과적으로 모델링하는 데 도전한다.
• 교통 데이터의 가까움, 주기, 추세 성분 간의 주기적 관계를 명시적으로 포착하고 예측한다.
• 예측된 주기적 관계와 실제 교통 흐름 예측 간의 일치성을 강제하여 훈련 안정성과 예측 정확도를 향상시킨다.
• 장기 관계 모델링을 통합한 종단간 예측 기반의 통합 프레임워크를 개발한다.

제안 방법

• 다양은 시간 스케일에 걸친 시간적 의존성을 모델링하기 위해 트랜스포머 기반 장기 관계 예측 모듈을 도입한다.
• 예측된 주기적 관계가 목표 시간 간격에서 예측된 교통 흐름 텐서로부터 유도된 관계와 일치하도록 하는 일치성 모듈을 설계한다.
• 예측된 주기적 관계와 예측된 흐름에서 유도된 관계 간의 격차를 페널티로 삼는 일치성 손실을 제안하여 훈련을 안정화시킨다.
• 교통 시계열을 가까움, 주기, 추세 성분으로 분해한 후 TRAILER 아키텍처에 입력한다.
• 트랜스포머의 자기주의 메커니즘을 활용하여 장거리 시간 범위에 걸친 의존성을 포착한다.
• 일치성 손실을 사용하여 종단간 훈련을 수행함으로써 관계 모델링과 교통 흐름 예측을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 장기적인 시간적 관계를 효과적으로 모델링하여 교통 흐름 예측 정확도를 향상시킬 수 있는가?
• RQ2 예측된 주기적 관계와 예측된 흐름에서 추론된 관계 간의 일치성을 강제할 경우 모델의 안정성과 성능 향상 정도는 어느 정도인가?
• RQ3 장기 관계 학습을 위한 전용 트랜스포머 기반 모듈이 기존 방법에 비해 교통 데이터의 주기적 패턴을 더 잘 포착할 수 있는가?
• RQ4 일치성 손실이 교통 흐름 예측에서 수렴성과 일반화에 기여하는 방식은 무엇인가?

주요 결과

• TRAILER는 세 개의 실세계 교통 흐름 예측 데이터셋에서 최신 기술 성능을 달성하여 기존 방법에 비해 뛰어난 정확도를 보였다.
• 제거 실험을 통해 장기 관계 모듈과 일치성 모듈이 모두 예측 성능 향상에 크게 기여하는 것으로 확인되었다.
• 일치성 손실은 더 안정적인 훈련 동역학을 유도하고 다양한 시간 간격에서의 예측 분산을 감소시켰다.
• 모델은 특히 다중 스케일 시간 의존성이 복잡한 시계열에서 장기 주기적 패턴을 효과적으로 포착했다.
• 명시적인 주기적 관계 모델링 통합은 특히 장기 예측 시나리오에서 일반화 능력을 향상시켰다.