[논문 리뷰] Uncertainty Quantification for Traffic Forecasting: A Unified Approach

Weizhu Qian, Dalin Zhang외 3명|arXiv (Cornell University)|2022. 08. 11.

Traffic Prediction and Management Techniques인용 수 7

한 줄 요약

이 논문은 교통 예측을 위한 통합적인 딥러닝 프레임워크인 DeepSTUQ을 제안한다. 이 프레임워크는 동시에 앨레토릭 불확실성과 엡스티믹 불확실성을 정량화한다. 몬테카를로 드롭아웃, 적응형 웨이트 평균화 재학습, 온도 스케일링 校정을 조합하여 단일 모델을 사용함으로써 점 예측과 불확실성 추정에서 최신 기술 수준의 성능을 달성한다. 이는 빠른 학습, 낮은 메모리 사용량, 효율적인 추론을 가능하게 한다.

ABSTRACT

Uncertainty is an essential consideration for time series forecasting tasks. In this work, we specifically focus on quantifying the uncertainty of traffic forecasting. To achieve this, we develop Deep Spatio-Temporal Uncertainty Quantification (DeepSTUQ), which can estimate both aleatoric and epistemic uncertainty. We first leverage a spatio-temporal model to model the complex spatio-temporal correlations of traffic data. Subsequently, two independent sub-neural networks maximizing the heterogeneous log-likelihood are developed to estimate aleatoric uncertainty. For estimating epistemic uncertainty, we combine the merits of variational inference and deep ensembling by integrating the Monte Carlo dropout and the Adaptive Weight Averaging re-training methods, respectively. Finally, we propose a post-processing calibration approach based on Temperature Scaling, which improves the model's generalization ability to estimate uncertainty. Extensive experiments are conducted on four public datasets, and the empirical results suggest that the proposed method outperforms state-of-the-art methods in terms of both point prediction and uncertainty quantification.

연구 동기 및 목표

• 기존 교통 예측 모델에서 불확실성 정량화의 부족을 해결하기 위해, 일반적으로 결정론적 예측만 제공하는 문제를 해결한다.
• 단일 통합 프레임워크 내에서 데이터 기반 변동성인 앨레토릭 불확실성과 모델 불확실성인 엡스티믹 불확실성을 모두 추정한다.
• 다수의 모델을 학습하는 데 따른 계산 및 메모리 오버헤드 없이도 높은 불확실성 추정 성능을 달성하는 방법을 개발한다.
• 온도 스케일링을 이용한 후처리 보정을 통해 불확실성 추정의 일반화 능력과 校정 정확도를 향상시킨다.

제안 방법

• 복잡한 공간적 및 시간적 의존성을 모델링하기 위해 시공간 딥러닝 백본(예: GNN-CNN 하이브리드)을 사용한다.
• 두 개의 독립된 서브넷워크를 하이브리드 손실 함수를 통해 학습시켜 교통 상태의 평균과 분산을 예측함으로써 앨레토릭 불확실성 추정을 가능하게 한다.
• 엡스티믹 불확실성 추정을 위해 추론 중 몬테카를로 드롭아웃을 적용하여 베이지안 추론을 근사하고, 새로운 AWA(적응형 웨이트 평균화) 재학습 전략을 통해 다수의 네트워크를 학습하지 않더라도 모델 다양성을 향상시킨다.
• AWA 재학습 방법은 여러 개의 확률적 최적화 경로에서 유도된 가중치를 평균화함으로써 모델 일반화 능력을 향상시키며, 단일 모델을 사용해 딥 앙상블를 모방한다.
• 예측 분포의 校정을 향상시키기 위해 온도 스케일링을 이용한 후처리 보정 단계를 적용하여 PICP 및 MPIW와 같은 校정 지표를 개선한다.
• 전체 프레임워크인 DeepSTUQ는 엔드 투 엔드로 학습되며, 최소한의 메모리 프로필로도 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합적인 딥러닝 프레임워크가 교통 예측에서 앨레토릭 불확실성과 업스티믹 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 다수의 모델을 학습하지 않으면서도 예측 다양성이 유지되는 조건에서 업스티믹 불확실성을 효율적으로 추정할 수 있는가?
• RQ3 온도 스케일링을 통한 후처리 보정이 불확실성 정량화 성능에 얼마나 기여하는가?
• RQ4 추론 중 몬테카를로 샘플 수가 정확도와 추론 속도 사이의 트레이드오���에 어떤 영향을 미치는가?

주요 결과

• DeepSTUQ는 네 개의 공개 데이터셋에서 점 예측(MAE, RMSE, MAPE)과 불확실성 정량화(MNLL, PICP, MPIW) 모두에서 최신 기술 수준의 결정론적 및 불확실성 인식 모델을 능가한다.
• AWA 재학습 방법은 표준 학습 대비 점 예측 성능을 0.5–1.2% 향상시켰으며, 단지 20개의 추가 에포크로 딥 앙상블 수준의 성능에 근접한다.
• 온도 스케일링을 통한 모델 보정은 불확실성 보정을 크게 향상시켰다: PEMS03에서 PICP는 94.22%에서 94.75%로 상승했고, MPIW는 74.51에서 76.91로 증가하여 더 나은 커버리지와 더 좁은 예측 구간을 확보했다.
• DeepSTUQ의 성능은 10~15개의 몬테카를로 샘플에서趋기하여, 고품질의 불확실성 추정을 위해 소수의 샘플만 필요함을 시사한다.
• 업스티믹 불확실성과 앨레토릭 불확실성 추정을 모두 통합한 방법이 단일 유형의 불확실성만 고려하는 방법보다 열등한 성능을 보였다.
• 단일 모델만 학습함으로써 빠른 추론과 낮은 메모리 사용량을 유지하여, ITS 애플리케이션에서 실시간 구현에 실용적이다.