[논문 리뷰] An Empirical Experiment on Deep Learning Models for Predicting Traffic Data

Hyunwook Lee, Cheonbok Park외 4명|arXiv (Cornell University)|2021. 05. 12.

Traffic Prediction and Management Techniques참고 문헌 31인용 수 15

한 줄 요약

이 논문은 일관된 실험 조건 하에서 일곱 개의 공개 데이터셋을 사용해 여덟 종류의 최신 딥러닝 모델에 대한 교통 속도 및 유량 예측에 대한 종합적이고 표준화된 평가를 수행한다. 결과적으로 Graph-WaveNet은 평균 정확도에서 가장 높은 성능을 보였고, GMAN은 장기 예측에서 뛰어난 성능을 보였다. 양 모델 모두 급격한 교통 변화가 발생하는 간격에서도 뛰어난 강건성을 보이며, 실세계 적용을 위한 동적 조건 하에서의 평가가 중요함을 시사한다.

ABSTRACT

To tackle ever-increasing city traffic congestion problems, researchers have proposed deep learning models to aid decision-makers in the traffic control domain. Although the proposed models have been remarkably improved in recent years, there are still questions that need to be answered before deploying models. For example, it is difficult to figure out which models provide state-of-the-art performance, as recently proposed models have often been evaluated with different datasets and experiment environments. It is also difficult to determine which models would work when traffic conditions change abruptly (e.g., rush hour). In this work, we conduct two experiments to answer the two questions. In the first experiment, we conduct an experiment with the state-of-the-art models and the identical public datasets to compare model performance under a consistent experiment environment. We then extract a set of temporal regions in the datasets, whose speeds change abruptly and use these regions to explore model performance with difficult intervals. The experiment results indicate that Graph-WaveNet and GMAN show better performance in general. We also find that prediction models tend to have varying performances with data and intervals, which calls for in-depth analysis of models on difficult intervals for real-world deployment.

연구 동기 및 목표

• 불일치하는 데이터셋과 평가 환경으로 인해 교통 예측을 위한 딥러닝 모델 간 비교가 어려운 문제를 해결하기 위해.
• 모델의 평균 정확도 외에도 급격히 변화하는 교통 조건이 발생하는 간격에서의 성능을 평가함으로써, 실세계 응용에 있어 핵심적인 요소를 확보하기 위해.
• 정확도, 추론 시간, 그리고 동적 교통 패턴 하에서의 강건성 측면에서 최신 모델들 간의 직접적이고 공정한 비교를 제공하기 위해.
• 특히 사고나 정점 시간대와 같은 비정기적 사건 발생 시 다양한 교통 역학에서 모델의 강점과 약점을 규명하기 위해.

제안 방법

• 속도 및 유량 예측을 위해 일곱 개의 공개 교통 데이터셋—METR-LA, PeMS-BAY, 그리고 다섯 개의 PeMS 데이터셋을 사용하며, 일관된 데이터 전처리 및 평가 프로토콜을 확보한다.
• 여덟 종류의 최신 모델—STGCN, DCRNN, ASTGCN, ST-MetaNet, Graph-WaveNet, STG2Seq, STS-GCN, 그리고 GMAN을 동일한 컴퓨팅 환경에서 훈련 및 테스트한다.
• 30분 이동 표준편차를 사용하여 어려운 간격을 추출하여 속도 및 유량의 급격한 변동성을 나타내는 기간을 식별한다.
• 다양한 예측 수준(예: 15분, 30분, 60분 예측)에서 MAE, RMSE, MAPE를 사용해 성능을 측정하며, 특히 동적 조건 하에서의 모델 강건성을 중점적으로 평가한다.
• 전체 테스트 세트 평가와 간격별 평가를 포함하여 안정적인 교통 동역학 대비 급격한 교통 변화 동역학에서의 모델 행동을 비교한다.
• 성능 저하를 어려운 간격에서의 MAE 상대적 증가율로 정량화하여, 모델 강건성 간 비교가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 표준화된 조건 하에서 다양한 교통 데이터셋에서 어떤 딥러닝 모델이 가장 높은 평균 예측 정확도를 달성하는가?
• RQ2 사고로 인한 급격한 속도 감소와 같은 갑작스럽게 변화하는 교통 조건이 발생하는 간격에서 모델의 성능은 어떻게 되는가?
• RQ3 교통 역학이 급격히 변화할 때도 가장 안정적인 성능을 유지하는 모델은 무엇이며, 이는 실세계 적용을 위한 더 높은 강건성을 의미하는가?
• RQ4 속도 예측과 유량 예측 과제 간에서 모델 성능은 어떻게 달라지며, MAPE, RMSE, MAE와 같은 지표들이 일관된 순위를 제공하는가?
• RQ5 RNN 기반 모델의 순차적 성질이 장기 예측에서 오차를 어떻게 증폭시키는가?

주요 결과

• Graph-WaveNet은 모든 데이터셋과 예측 수준에서 가장 높은 평균 정확도를 달성했으며, 속도 및 유량 예측 과제에서 다른 모델들을 압도적으로 앞서갔다.
• GMAN은 장기 예측(예: 60분 예측)에서 뛰어난 성능을 보이며, 장기 예측에 가장 적합한 선택으로 간주된다.
• 모든 모델이 급격한 교통 변화가 발생하는 간격에서 심각한 성능 저하를 경험했으며, 평균적으로 MAE의 저하 비율은 67.3%에서 180.3%에 이르렀다.
• ASTGCN는 데이터셋 간 평균 성능 저하가 가장 낮아, 다른 모델들에 비해 급격한 교통 변화에 더 강건함을 보였다.
• ST-MetaNet은 어려운 간격에서 가장 열악한 성능을 보였으며, 주로 동일한 지식 기반의 메타러닝 메커니즘이 원인으로 지목되었다.
• 모델 성능은 교통 데이터의 이동 표준편차와 강하게 상관관계가 있었으며, 속도나 유량이 급격히 변화할 경우 모델이 더 어려움을 겪는다는 점을 확인하여, 모델 벤치마킹 시 동적 조건 평가의 필요성을 강조한다.