[논문 리뷰] Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data

Patrick L. McDermott, Christopher K. Wikle|arXiv (Cornell University)|2017. 11. 02.

Forecasting Techniques and Applications인용 수 5

한 줄 요약

이 논문은 RNN의 예측 능력과 완전한 베이지안 프레임워크를 통한 엄밀한 불확실성 정량화를 통합한 베이지안 순환 신경망(BAST-RNN) 모델을 제안한다. 이 방법은 루엔츠 혼돈, 엔소(ENSO), 미국 주 수준의 실업률 데이터를 포함한 비선형 시공간 응용 분야에서 기존 모델 대비 예측 정확도와 불확실성 추정을 향상시킨다.

ABSTRACT

Recurrent neural networks (RNNs) are nonlinear dynamical models commonly used in the machine learning and dynamical systems literature to represent complex dynamical or sequential relationships between variables. More recently, as deep learning models have become more common, RNNs have been used to forecast increasingly complicated systems. Dynamical spatio-temporal processes represent a class of complex systems that can potentially benefit from these types of models. Although the RNN literature is expansive and highly developed, uncertainty quantification is often ignored. Even when considered, the uncertainty is generally quantified without the use of a rigorous framework, such as a fully Bayesian setting. Here we attempt to quantify uncertainty in a more formal framework while maintaining the forecast accuracy that makes these models appealing, by presenting a Bayesian RNN model for nonlinear spatio-temporal forecasting. Additionally, we make simple modifications to the basic RNN to help accommodate the unique nature of nonlinear spatio-temporal data. The proposed model is applied to a Lorenz simulation and two real-world nonlinear spatio-temporal forecasting applications.

연구 동기 및 목표

• 비선형 시공간 예측을 위한 순환 신경망(RNN)에서 공식적인 불확실성 정량화의 부재를 해결한다.
• RNN의 예측 능력을 유지하면서도 엄밀한 불확실성 추정이 가능한 베이지안 프레임워크를 개발한다.
• 공간과 시간 간의 잠재적 상호작용이 존재하는 복잡한 고차원 비선형 역학계에 대한 모델의 유연성과 강건성을 향상시킨다.
• 실제 세계 및 시뮬레이션 시공간 시스템에서 다양한 분야에 걸쳐 예측 정확도와 불확실성 캘리브레이션 측면에서 모델의 우수성을 입증한다.
• 복잡한 과정에서 다중 수준의 불확실성을 분리해내는 데 기여할 수 있는 계층적 베이지안 기계학습 모델의 기반을 마련한다.

제안 방법

• RNN의 순환 및 출력 가중치에 사전 분포를 설정하여 전체 사후 추론이 가능한 베이지안 RNN(BAST-RNN)을 수립한다.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하여 네트워크 파라미터의 사후 분포를 근사함으로써 불확실성 정량화를 가능하게 한다.
• 지역적 및 전역적 공간적 의존성을 더 잘 포착하기 위해 표준 RNN 아키텍처에 시공간 주의 메커니즘을 도입한다.
• 대규모 응용 분야에서의 계산 효율성을 향상시키기 위해 변분 추론 근사를 통합한다.
• 시간에 따라 변화하는 잠재 상태 표현을 사용하여 시간 역학과 공간 상관관계가 존재하는 순차적 데이터에 모델을 적용한다.
• 사후 예측 분포를 사용하여 95퍼센트 신뢰구간을 포함한 확률적 예측을 생성함으로써 공식적인 불확실성 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 시공간 예측에서 예측 정확도를 희생시키지 않고도 RNN의 베이지안 공식화가 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 복잡한 비선형 역학계에서 BAST-RNN 모델은 비베이지안 RNN 및 전통적인 통계 모델에 비해 어떻게 성능을 내는가?
• RQ3 BAST-RNN 모델은 루엔츠 모델과 같은 혼돈 시스템의 복잡한 애트랙터 역학을 어느 정도 잘 포착하고 예측할 수 있는가?
• RQ4 ENSO 및 지역 실업률 추세와 같은 다양한 실제 시공간 과정에 대해 모델의 일반화 능력은 얼마나 뛰어난가?
• RQ5 베이지안 프레임워크는 고차원 시공간 데이터에서 다중 척도의 불확실성에 대한 계층적 모델링을 지원할 수 있는가?

주요 결과

• BAST-RNN 모델은 루엔츠 시스템, ENSO, 미국 주 수준 실업률의 세 응용 분야에서 E-QESN, GQN, Linear DSTM 모델 대비 뛰어난 예측 정확도를 달성했다.
• 2008–2016년 미국 실업률 응용 분야에서 BAST-RNN 모델은 경제 회복 기간 동안 실업률 감소를 가장 정확하게 포착했으며, 특히 지연되거나 복잡한 주기를 보인 주들에서 뛰어난 성능을 보였다.
• 모델은 잘 校정된 95퍼센트 사후 예측 신뢰구간을 생성했으며, 그림 4의 그림자로 표시된 신뢰구간이 경쟁 모델 대비 관측된 데이터 추세를 더 일관되게 커버했다.
• ENSO 주기(2015–2016)에 대해 BAST-RNN은 정점과 감쇠 단계를 정확히 포착하지 못했지만 전반적인 경로를 올바르게 예측했으며, 불확실성 인식 예측 측면에서 다른 모델을 능가했다.
• BAST-RNN은 고노이즈 조건 하에서 다중 척도 루엔츠 시스템을 성공적으로 모델링하여 혼돈 역학과 비선형 상호작용에 대한 강건성을 입증했다.
• 모델이 선형에 가까운(SST, 실업률 등) 및 매우 비선형(루엔츠 등) 시스템을 모두 처리할 수 있는 능력은 다양한 비선형 정도에 걸쳐 뛰어난 유연성을 보여준다.