[논문 리뷰] Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting

Tanwi Mallick, Prasanna Balaprakash외 1명|arXiv (Cornell University)|2022. 04. 04.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 교통 예측을 위한 시공간 그래프 신경망에서의 불확실성 정량화를 위한 확장 가능한 딥 앙상블 방법을 제안한다. 베이지안 하이퍼파ram터 최적화와 가우시안 코풀라 생성 모델링을 활용하여 다양한 DCRNN 모델을 구성한다. 예측 정확도와 불확실성 추정 모두에서 최신 기술을 초월하며, 애로타닉(aleatoric) 및 엡스테믹(epistemic) 불확실성을 별도로 정량화함으로써 기존 베이지안 및 빈도주의 방법보다 실세계 교통 데이터에서 뛰어난 성능을 발휘한다.

ABSTRACT

Deep-learning-based data-driven forecasting methods have produced impressive results for traffic forecasting. A major limitation of these methods, however, is that they provide forecasts without estimates of uncertainty, which are critical for real-time deployments. We focus on a diffusion convolutional recurrent neural network (DCRNN), a state-of-the-art method for short-term traffic forecasting. We develop a scalable deep ensemble approach to quantify uncertainties for DCRNN. Our approach uses a scalable Bayesian optimization method to perform hyperparameter optimization, selects a set of high-performing configurations, fits a generative model to capture the joint distributions of the hyperparameter configurations, and trains an ensemble of models by sampling a new set of hyperparameter configurations from the generative model. We demonstrate the efficacy of the proposed methods by comparing them with other uncertainty estimation techniques. We show that our generic and scalable approach outperforms the current state-of-the-art Bayesian and a number of other commonly used frequentist techniques.

연구 동기 및 목표

• 실시간 구현에서의 신뢰성에 제한을 초래하는 딥 러닝 기반 교통 예측 모델에서의 불확실성 정량화의 심각한 부족을 해결한다.
• 정규 분포를 가정하거나 대규모 시공간 데이터셋에 스케일링하지 못하는 기존 불확실성 추정 기법의 한계를 극복한다.
• 그래프 신경망 기반 교통 예측에서 애로타닉 및 엡스테믹 불확실성을 별도로 추정할 수 있는 일반적이고 확장 가능한 프레임워크를 개발한다.
• 데이터 변동성(애로타닉) 또는 모델의 분포 외 일반화(엡스테믹)로 인한 높은 불확실성 영역을 식별함으로써, 교통 관리의 더 나은 의사결정을 가능하게 하기 위해 모델 신뢰도를 향상시킨다.
• 제안된 방법이 정확도와 확장성 측면에서 최신 기술인 베이지안 및 빈도주의 불확실성 추정 기법을 모두 능가함을 입증한다.

제안 방법

• DCRNN 모델에 동시에 분위수 회귀(SQR) 손실을 도입하여 정규 분포를 가정하지 않고도 예측 구간을 직접 예측한다.
• 확장 가능한 베이지안 최적화를 활용해 하이퍼파ram터 공간을 효율적으로 탐색하고 성능이 뛰어난 DCRNN 구성 요소를 식별한다.
• 성능이 뛰어난 하이퍼파ram터 구성의 연합 분포에 가우시안 코풀라 생성 모델을 적합시켜 새로운 다양성 있는 하이퍼파ram터 조합을 샘플링한다.
• 샘플링된 하이퍼파ram터 구성 요소를 사용해 DCRNN 모델의 딥 앙상블을 훈련시켜 강력한 앙상블 예측을 가능하게 한다.
• 앙상블 예측에 분산 분해를 적용하여 총 불확실성을 애로타닉(데이터 기반) 및 엡스테믹(모델 기반) 구성 요소로 분리한다.
• 확장 가능한 하이퍼파라미터 검색 및 분산 학습을 활용하여 대규모 교통 데이터셋에서도 효율적이고 정확한 성능을 유지한다.

실험 결과

연구 질문

• RQ1 확장 가능한 딥 앙상블 접근법이 시공간 그래프 신경망의 애로타닉 및 업스테믹 불확실성을 효과적으로 정량화할 수 있는가?
• RQ2 기존의 베이지안 및 빈도주의 불확실성 추정 기법과 비교해 제안된 방법의 성능 및 내구성은 어떠한가?
• RQ3 하이퍼파라미터 검색의 확장성은 결과 앙상블의 품질과 다양성에 어느 정도 기여하는가?
• RQ4 애로타닉 및 업스테믹 불확실성 수준은 급격한 혼잡 또는 유속 변화와 같은 교통 역학의 변화와 어떻게 관련되는가?
• RQ5 제안된 불확실성 분해 방법은 고불확실성 영역에서의 예측 수평 조정 또는 데이터 수집 촉발과 같은 실질적 의사결정을 안내할 수 있는가?

주요 결과

• 제안된 DCRNN-SQRUQ 방법은 예측 정확도와 불확실성 캘리브레이션 측면에서 최신 기술인 베이지안 신경망 기법과 여러 빈도주의 불확실성 추정 기법을 모두 능가한다.
• 모델은 안정적인 평균 예측을 제공하며, 특히 교통 역학이 급격히 변화하는 기간 동안 데이터 변동성을 효과적으로 포착한다.
• 애로타닉 불확실성은 교통 행동 변화가 급격히 발생하는 기간에 크게 증가하며, 제거할 수 없는 데이터 변동성을 반영하며 최악의 시나리오 계획 수단으로 활용될 수 있다.
• 업스테믹 불확실성은 교통 패턴이 훈련 데이터 분포에서 벗어날 때 증가하여 모델의 신뢰도 저하를 나타내며, 이는 모델 재학습 또는 예측 수평 단축이 필요함을 시사한다.
• 가우시안 코풀라 생성 모델은 최소한의 계산 오버헤드로 성능이 뛰어난 하이퍼파라미터 구성 요소를 효율적으로 생성하여 확장 가능한 앙상블 구축을 가능하게 한다.
• 분산 분해 접근법은 성공적으로 애로타닉 및 업스테믹 불확실성을 분리하고 정량화하여 선제적 교통 관리 시스템에 실질적인 통찰을 제공한다.