[논문 리뷰] LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting

Xu Liu, Yutong Xia외 8명|arXiv (Cornell University)|2023. 06. 14.

Traffic Prediction and Management Techniques인용 수 20

한 줄 요약

이 논문은 2017–2021년 동안 8,600개의 캘리포니아 센서와 풍부한 메타데이터를 갖춘 대규모 교통 예측 벤치마크 LargeST를 제시하며, 확장성, 효율성 및 시간 분포 변화 연구를 위한 포괄적 베이스라인 평가를 제공합니다.

ABSTRACT

Road traffic forecasting plays a critical role in smart city initiatives and has experienced significant advancements thanks to the power of deep learning in capturing non-linear patterns of traffic data. However, the promising results achieved on current public datasets may not be applicable to practical scenarios due to limitations within these datasets. First, the limited sizes of them may not reflect the real-world scale of traffic networks. Second, the temporal coverage of these datasets is typically short, posing hurdles in studying long-term patterns and acquiring sufficient samples for training deep models. Third, these datasets often lack adequate metadata for sensors, which compromises the reliability and interpretability of the data. To mitigate these limitations, we introduce the LargeST benchmark dataset. It encompasses a total number of 8,600 sensors in California with a 5-year time coverage and includes comprehensive metadata. Using LargeST, we perform in-depth data analysis to extract data insights, benchmark well-known baselines in terms of their performance and efficiency, and identify challenges as well as opportunities for future research. We release the datasets and baseline implementations at: https://github.com/liuxu77/LargeST.

연구 동기 및 목표

• 현실 세계의 네트워크를 반영하는 대규모이면서 장기 예측이 필요한 교통 예측 벤치마크의 필요성을 제시한다.
• 캘리포니아 전역에 걸친 8,600개 센서, 5년 간의 데이터, 그리고 센서별 풍부한 메타데이터를 포함하는 LargeST 벤치마크를 도입한다.
• 예측에 영향을 미치는 공간적, 시간적, 메타데이터 요인을 밝히기 위한 데이터 분석을 제공한다.
• LargeST에서 정확도, 효율성, 확장성을 평가하기 위한 베이스라인 모음의 벤치마크를 수행하고 도전과제와 향후 기회를 논의한다.

제안 방법

• CalTrans PeMS 데이터에서 LargeST를 구성하고 본선(mainline) 센서를 선택하며 도로망 거리에 따라 인접성을 4km 반경 내의 거리로 기반 그래프를 생성한다.
• 5분 기록을 15분 창으로 집계하여 2017–2021년 5년 동안 매일 96개의 시점으로 구성한다.
• 해석 가능성과 모델 설계를 향상시키기 위해 좌표, 카운티, 고속도로, 차선 등 포괄적 메타데이터로 센서를 표현한다.
• 중간에서 큰 그래프 크기에 이르는 확장 가능한 평가를 가능하게 하기 위해 네 가지 하위 데이터셋(CA, GLA, GBA, SD)을 구축한다.
• 모든 하위 데이터셋에 대해 연대순으로 6:2:2 비율의 학습/검증/테스트 분할을 구성하고, MAE, RMSE, MAPE를 핵심 예측 지표로 사용하며, 추가로 학습 시간과 추론 시간을 효율성 지표로 사용한다.
• 다음 기초모형들의 모음을 평가한다: (HL, LSTM, DCRNN, AGCRN, STGCN, GWNET, ASTGCN, STTN, STGODE, DSTAGNN, DGCRN, D2STGNN) 이를 통해 LargeST에서의 성능, 효율성 및 확장성을 분석한다.

실험 결과

연구 질문

• RQ1 5년 간의 데이터와 함께 대규모 센서 네트워크에서 예측 정확도는 어떻게 변하는가?
• RQ2 센서 메타데이터를 도입하는 것이 예측 성능과 해석가능성에 어떤 영향을 미치는가?
• RQ3 대규모 LargeST에서의 최신 베이스라인은 작은 공개 데이터셋에 비해 정확도와 효율성 측면에서 어떻게 확장되는가?
• RQ4 시계열 예측 모델을 대규모 네트워크로 확장할 때 발생하는 도전과제(예: 시간적 분포 변화, 모델 복잡도)는 무엇인가?
• RQ5 LargeST가 차후 확장 가능한 예측 방법 및 시계열 기초모델의 기반으로 기능할 수 있는가?

주요 결과

• LargeST는 8,600개의 캘리포니아 센서와 5년 데이터로 구성되어 총 525,888개의 시간 프레임을 생성한다.
• 베이스라인 방법은 다양한 성능을 보이며, GWNET와 AGCRN이 여러 하위 데이터셋에서 강력한 결과를 제공하는 반면, 일부 최신 모델은 CA 및 GLA 규모로의 확장에서 어려움을 겪는다.
• STGCN 및 STGODE는 일부 메트릭에서 CA에서 GWNET보다 우수할 수 있지만 더 많은 파라미터가 필요하므로 정확도와 모델 크기 간의 트레이드오프를 시사한다.
• 동적 인접성 및 메타데이터를 활용하는 모델(DGCRN, D2 STGNN 등)은 SD, GBA와 같은 작은 하위 데이터셋에서 좋은 성능을 보이나 CA 및 GLA와 같은 더 큰 그래프에서 확장성 문제에 직면한다.
• CA 데이터셋은 메모리 제약으로 인해 많은 베이스라인이 실패하는 확장성 문제를 제시하며, 대규모 교통 예측 접근법의 필요성을 강조한다.
• 이 데이터셋은 팬데믹 연도(2020–2021)를 포함한 시간 분포 변화 분석을 지원하며, 단순하면서도 효과적인 모델 및 기초 예측 접근법의 개발을 장려한다.