[논문 리뷰] Applying SVGD to Bayesian Neural Networks for Cyclical Time-Series Prediction and Inference

Xinyu Hu, Paul Szerlip외 2명|arXiv (Cornell University)|2019. 01. 17.

Traffic Prediction and Management Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 공간시계열 수요 예측에서 주기적 시계열 예측을 위해 베이지안 신경망(BNN)을 제안하며, 스틴 변분 경사하강법(SVGD)을 사용하여 정확한 점 추정과 校정된 불확실성 측정을 가능하게 한다. 이 방법은 미세조정된 MLP보다 평균 WMAPE를 10% 감소시키고 비베이지안 기준선보다 4% 향상시키며, 공휴일 주변에서 높은 예측 변동성을 포착한다.

ABSTRACT

A regression-based BNN model is proposed to predict spatiotemporal quantities like hourly rider demand with calibrated uncertainties. The main contributions of this paper are (i) A feed-forward deterministic neural network (DetNN) architecture that predicts cyclical time series data with sensitivity to anomalous forecasting events; (ii) A Bayesian framework applying SVGD to train large neural networks for such tasks, capable of producing time series predictions as well as measures of uncertainty surrounding the predictions. Experiments show that the proposed BNN reduces average estimation error by 10% across 8 U.S. cities compared to a fine-tuned multilayer perceptron (MLP), and 4% better than the same network architecture trained without SVGD.

연구 동기 및 목표

• 라이드셰어와 같은 산업 환경에서 불확실성 캘리브레이션이 잘못되면 공급 배분이 최적화되지 않는다는 점을 해결하기 위해 정확하고 강건한 시계열 예측에 도전한다.
• 특히 공휴일 주변의 주기적 수요 패턴에서의 예측 불확실성을, 모델 불확실성과 내재된 노이즈를 모두 포착하는 베이지안 프레임워크를 통해 모델링한다.
• SVGD를 통한 변분 추론를 통해 표준 신경망의 점 추정을 개선하고 불확실성 측정을 통합한다.
• 후행 분포의 형태에 강한 가정을 두지 않는 비모수적이고 확장 가능한 대규모 신경망을 위한 베이지안 추론 방법을 개발한다.
• 8개 미국 도시의 실세계 라이더 수요 데이터를 대상으로 모델을 평가하여 정확도 향상과 신뢰할 수 있는 불확실성 추정을 입증한다.

제안 방법

• 1D 컨볼루션 인코더와 병렬 디코더를 갖춘 피드포워드 결정론적 신경망(DetNN)을 설계하여 주기적 시계열 패턴을 모델링하고, 일요일, 공휴일 등과 같은 원-핫 인코딩된 시간 특징을 통합한다.
• 모델 파라미터(가중치 w와 노이즈 공분산 Σ)에 대해 베이지안 추론를 적용하며, 계층적 사전분포를 사용한다: w ~ N(0, α⁻¹I), α ~ Γ(a₀,b₀), 그리고 각 출력 차원에 대해 σᵢ⁻² ~ Γ(a₁,b₁).
• 모델 파라미터의 후행분포를 근사하기 위해 스틴 변분 경사하강법(SVGD)을 사용하여, 명시적인 후행밀도 형태가 필요 없이 비모수적이고 확장 가능한 추론을 가능하게 한다.
• SVGD를 통해 n개의 후행 샘플(입자)을 생성하고, 이를 바탕으로 예측 평균 E[y] = Eθ[E[y|θ]]과 모델 불확실성 및 잔여 노이즈로 분해된 총 예측 분산을 계산한다.
• 전체 분산의 법칙을 통해 불확실성 측정을 수행한다: Cov(y) = Covθ(E[y|θ]) + Eθ(Cov(y|θ))로, 첫 번째 항은 모델 불확실성을 나타내고 두 번째 항은 잔여 노이즈를 의미한다.
• w와 Σ에 대해 별도의 학습률을 사용하여 엔드 투 엔드로 모델을 훈련하고, 최종 예측은 SVGD 입자들에 대한 평균을 취해 강건성과 불확실성 캘리브레이션을 향상시킨다.

실험 결과

연구 질문

• RQ1 기본 점 추정 모델에 비해 SVGD 기반의 베이지안 신경망이 주기적 시계열 예측에서 정확도와 불확실성 캘리브레이션을 향상시키는가?
• RQ2 SVGD를 통한 베이지안 추론의 통합이 다양한 도시 환경에서 실세계 라이더 수요 예측 성능에 어떤 영향을 미치는가?
• RQ3 이상치 시점(예: 공휴일) 주변에서 예측 변동성이 높게 나타나는가? 이는 불확실성 예측 시나리오에서 기대되는 바이다.
• RQ4 비베이지안 DetNN과 표준 MLP 기준선에 비해 BNN과 SVGD가 WMAPE를 얼마나 감소시키는가?
• RQ5 노이즈 공분산에 대한 구조적 사전분포나 상관관계 구조는 현재의 독립 대각행렬 가정을 초월해 성능 향상에 기여하는가?

주요 결과

• 30개의 SVGD 입자(BNN-30)를 사용한 BNN은 8개 미국 도시에서 비베이지안 DetNN보다 평균 WMAPE를 4% 감소시키고, 미세조정된 MLP보다 10% 향상시켰다.
• BNN 모델은 성탄절과 추수감사절과 같은 공휴일 주변에서 예측 변동성이 뚜렷이 높게 나타나, 위험도가 높은 예측 기간에서 캘리브레이션된 불확실성을 보여준다.
• 95% 신뢰구간 커버리지 확률은 WMAPE가 증가하는 장기 예측 수평에서도 안정적이거나 향상되었으며, 이는 신뢰할 수 있는 불확실성 측정을 입증한다.
• BNN-30의 평균 WMAPE는 모든 도시에서 0.0741을 기록하여 BNN-10(0.0753)과 BNN-50(0.0742)를 모두 능가하며, 입자 수 30이 최적임을 시사한다.
• 예측 분산 분해 결과, 모델 불확실성(Covθ(E[y|θ]))이 총 변동성에 의미 있는 기여를 하며, 특히 이례적인 사건 기간 동안 두드러진다.
• 이 방법은 수요의 주기적 패턴을 성공적으로 포착하고 원-핫 인코딩된 시간 특징에 반응하여, 공휴일과 같은 특수 시간 창에서 성능 향상을 이룬다.