[논문 리뷰] Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting

Long-yuan Li, Junchi Yan외 2명|arXiv (Cornell University)|2021. 01. 31.

Time Series Analysis and Forecasting참고 문헌 23인용 수 7

한 줄 요약

이 논문은 신경망을 사용해 비선형 방출 및 전이 동역학을 모델링하고, 불확실성 인식 특성 선택 기능을 갖춘 자동 관련성 결정(ARD) 네트워크를 통해 외생 변수를 통합하며, 몬테카를로 샘플링을 통해 다단계 예측을 생성하는 확률적 시계열 예측을 위한 딥 스테이트 스페이스 모델(DSSMF)을 제안한다. 이 모델은 시간이 지남에 따라 자연스럽게 불확실성이 증가하는 날카운 예측을 생성하며, 관련 외부 요인을 효과적으로 식별한다.

ABSTRACT

Probabilistic time series forecasting involves estimating the distribution of future based on its history, which is essential for risk management in downstream decision-making. We propose a deep state space model for probabilistic time series forecasting whereby the non-linear emission model and transition model are parameterized by networks and the dependency is modeled by recurrent neural nets. We take the automatic relevance determination (ARD) view and devise a network to exploit the exogenous variables in addition to time series. In particular, our ARD network can incorporate the uncertainty of the exogenous variables and eventually helps identify useful exogenous variables and suppress those irrelevant for forecasting. The distribution of multi-step ahead forecasts are approximated by Monte Carlo simulation. We show in experiments that our model produces accurate and sharp probabilistic forecasts. The estimated uncertainty of our forecasting also realistically increases over time, in a spontaneous manner.

연구 동기 및 목표

• 비선형 방출 및 전이 동역학의 유연한 비선형 모델링을 가능하게 하는 확률적 시계열 예측을 위한 딥 스테이트 스페이스 모델을 개발한다.
• 자동 관련성 결정(ARD) 네트워크를 통해 핵심 외생 변수를 식별함으로써 모델의 해석 가능성을 향상시킨다.
• 특성 선택 과정에서 외생 변수의 불확실성을 모델링하여 모델의 강건성을 향상시킨다.
• 몬테카를로 시뮬레이션을 사용해 정확하고 날카로운 다단계 확률적 예측을 생성한다.
• 예측 불확실성이 시간이 지남에 따라 자연스럽게 증가하도록 보장하여 장기 예측에서 현실적인 위험 전파를 반영한다.

제안 방법

• 시계열 데이터의 복잡한 비선형 종속성을 포착하기 위해 스테이트 스페이스 모델의 방출 및 전이 모델을 딥 신경망으로 매개변수화한다.
• 시간 단계 간의 시간적 종속성을 모델링하기 위해 순환 신경망(RNN)을 활용한다.
• 외생 변수의 관련성을 추정하는 ARD 네트워크를 도입하여 자동 특성 선택을 가능하게 한다.
• 외생 변수의 불확실성을 몬테카를로 샘플링을 통해 모델링하여 특성 관련성 추정의 강건성을 향상시킨다.
• 다단계 예측의 전체 예측 분포를 근사하기 위해 몬테카를로 시뮬레이션을 사용한다.
• 딥 생성 모델의 훈련을 효율적으로 수행하기 위해 재구성 기반 변분 추론을 적용한다.

실험 결과

연구 질문

• RQ1 신경망 매개변수화를 갖춘 딥 스테이트 스페이스 모델이 실제 시계열 데이터에서 정확하고 날카로운 확률적 예측을 달성할 수 있는가?
• RQ2 ARD 기반 네트워크는 얼마나 효과적으로 관련 외생 변수를 식별하고 불필요하거나 노이즈가 많은 변수를 억제하는가?
• RQ3 외생 변수의 불확실성을 모델링하면 특성 선택의 강건성과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 모델은 명시적 校정 없이도 예측 불확실성이 시간이 지남에 따라 자연스럽게 증가하는가?
• RQ5 불확실성 인식 외생 변수 선택이 표준 기준 모델 대비 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 DSSMF 모델은 GEFCom2014 및 베이징 PM2.5 데이터셋을 포함한 공개 벤치마크에서 최첨단 기법들을 능가하는 확률적 예측 정확도를 확보한다.
• 모델의 예측 불확실성은 예측 수평선에 따라 자연스럽게 증가하며, 수동 캘리브레이션 없이도 현실적인 위험 전파를 반영한다.
• ARD 네트워크는 시간대, 영업 시간, 특정 기상 관측소의 기온과 같은 관련 외생 변수를 성공적으로 식별하며, 의도적으로 추가된 노이즈 변수에는 낮은 관련성을 할당한다.
• 전기 가격 예측에서는 지점 부하와 전체 시스템 부하가 핵심 수요 지표로 식별되며, 도메인 지식과 일치한다.
• PM2.5 예측에서는 바람 방향과 속도가 관련 요인로 식별되며, 오염물질이 지역 대기 순환에 영향을 받는다는 가설을 뒷받침한다.
• 기상 데이터가 예측 기간 동안 정확하지 않더라도, 외생 입력의 불확실성 인식 모델링 덕분에 높은 예측 정확도를 유지함으로써 강건성을 입증한다.