[논문 리뷰] Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction

Jiahao Ji, Jingyuan Wang외 6명|arXiv (Cornell University)|2022. 12. 07.

Traffic Prediction and Management Techniques인용 수 13

한 줄 요약

이 논문은 적응형 그래프 증강과 이중 자기 지율 작업을 사용하여 교통 흐름 예측에서 공간적 및 시간적 이질성을 모델링하는 새로운 스파티오타임 자기 지율 학습 프레임워크인 ST-SSL을 제안한다. 이는 네 개의 벤치마크 데이터셋에서 최신 기준 모델들을 능가하며, 강건하고 이질성 인식 능력을 갖춘 표현을 학습한다.

ABSTRACT

Robust prediction of citywide traffic flows at different time periods plays a crucial role in intelligent transportation systems. While previous work has made great efforts to model spatio-temporal correlations, existing methods still suffer from two key limitations: i) Most models collectively predict all regions' flows without accounting for spatial heterogeneity, i.e., different regions may have skewed traffic flow distributions. ii) These models fail to capture the temporal heterogeneity induced by time-varying traffic patterns, as they typically model temporal correlations with a shared parameterized space for all time periods. To tackle these challenges, we propose a novel Spatio-Temporal Self-Supervised Learning (ST-SSL) traffic prediction framework which enhances the traffic pattern representations to be reflective of both spatial and temporal heterogeneity, with auxiliary self-supervised learning paradigms. Specifically, our ST-SSL is built over an integrated module with temporal and spatial convolutions for encoding the information across space and time. To achieve the adaptive spatio-temporal self-supervised learning, our ST-SSL first performs the adaptive augmentation over the traffic flow graph data at both attribute- and structure-levels. On top of the augmented traffic graph, two SSL auxiliary tasks are constructed to supplement the main traffic prediction task with spatial and temporal heterogeneity-aware augmentation. Experiments on four benchmark datasets demonstrate that ST-SSL consistently outperforms various state-of-the-art baselines. Since spatio-temporal heterogeneity widely exists in practical datasets, the proposed framework may also cast light on other spatial-temporal applications. Model implementation is available at https://github.com/Echo-Ji/ST-SSL.

연구 동기 및 목표

• 도시 지역 간 교통 분포의 비균형으로 인해 기존 모델이 공간적 이질성을 잘 포착하지 못하는 한계를 해결하기 위해.
• 특히 다양한 일자나 기간 간 시간 변화하는 교통 패턴을 모델링하는 데 실패하는 공통 시간 매개변수화의 문제를 극복하기 위해.
• 수작업 특징이나 과도한 파rameter에 의존하지 않고 표현 학습을 향상시키는 자기 지율 프레임워크를 개발하기 위해.
• 잠재 표현 공간에 공간적·시간적 이질성 인식을 통합함으로써 도시 전역의 교통 예측에서 일반화 및 강건성을 향상시키기 위해.

제안 방법

• 지역 간 스파티오타임 교통 패턴을 인코딩하기 위해 그래프 신경망 내에서 시간적 및 공간적 컨벌루션을 통합하기 위해.
• 지역별 교통 이질성에 기반해 노드 속성과 그래프 구조를 모두 수정하는 적응형 데이터 증강 전략을 설계하기 위해.
• 지역별 패턴을 학습하고 다양한 도시 기능 간의 분류 성능을 향상시키기 위해 소프트 클러스터링을 사용한 공간 자기 지율 작업을 도입하기 위해.
• 다른 시간대의 동적 패턴을 구분함으로써 시간 이질성을 유지하기 위해 시간 인식 대비 학습 작업을 개발하기 위해.
• 주 예측 작업과 두 개의 보조 자기 지율 작업을 결합하여 표현 품질과 일반화 능력을 향상시키기 위해.
• 공간적 연결성과 시간적 순서를 갖춘 그래프 구조 데이터를 사용하여 실제 교통 데이터셋에 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 자기 지율 학습 프레임워크는 도시 지역 간 교통 흐름 분포의 공간적 이질성을 효과적으로 모델링할 수 있는가?
• RQ2 업무일과 휴일 간의 차이와 같은 시간적 이질성은 어떻게 통합된 표현 공간에 포착될 수 있는가?
• RQ3 적응형 그래프 증강은 실제 도시 기능 유사성과 비유사성을 더 잘 반영함으로써 모델 성능을 향상시키는가?
• RQ4 제안된 자기 지율 보조 작업은 주 예측 작업의 강건성과 정확도를 어느 정도 향상시키는가?

주요 결과

• ST-SSL은 MAE 및 RMSE 측면에서 네 개의 벤치마크 교통 데이터셋에서 다수의 최신 기준 모델들을 일관되게 능가한다.
• 모델은 고밀도 지역뿐 아니라 저밀도 지역에서도 뛰어난 성능을 보이며, 인기 있거나 빈도가 높은 지역에 대한 편향이 감소함을 입증한다.
• t-SNE 시각화 결과 ST-SSL 임베딩은 클래스 내에서 더 조밀하고 클래스 간 분리도 더 잘 이루어져 표현 학습 품질 향상을 확인한다.
• 적응형 그래프 증강은 기능적으로 유사한 지역 간 장거리 의존성을 수립하고, 비유사 지역 간 낮은 상관관계 연결을 성공적으로 제거한다.
• 제안된 자기 지율 작업은 외부 특징이 필요 없이도 모델의 다양한 교통 패턴에 대한 일반화 능력을 크게 향상시킨다.
• 복잡한 스파티오타임 다이나믹스, 즉 요일별 및 휴일 변동성을 포함한 실제 시나리오에 대해도 프레임워크가 잘 일반화됨을 확인했다.