[논문 리뷰] Bayesian analysis of predictive Non-Homogeneous hidden Markov models using Polya-Gamma data augmentation

Constandina Koki, Loukia Meligkotsidou외 1명|arXiv (Cornell University)|2018. 02. 08.

Bayesian Methods and Mixture Models참고 문헌 50인용 수 3

한 줄 요약

이 논문은 외생 변수에 의해 유도되는 시계열 변화하는 전이 확률을 갖는 비정상성 숨은 마르코프 모델(NHHMM)을 위한 베이지안 프레임워크를 제안한다. 각 상태별 예측 회귀 모형과 로지스틱 회귀를 통한 외생 변수 기반의 시간에 따라 변화하는 전이 확률을 포함하며, 폴리아-게이밍 데이터 보정을 활용하여 효율적인 MCMC 추론이 가능하게 하고, 역순 이동 MCMC를 통해 모형 불확실성 처리를 실현하여 단변량 시계열 예측에서 강력한 예측 성능과 변수 선택을 달성한다.

ABSTRACT

We consider Non-Homogeneous Hidden Markov Models (NHHMMs) for forecasting univariate time series. We introduce two state NHHMMs where the time series are modeled via different predictive regression models for each state. Also, the time-varying transition probabilities depend on exogenous variables through a logistic function. In a hidden Markov setting, inference for logistic regression coefficients becomes complicated and in some cases impossible due to convergence issues. To address this problem, we use a new latent variable scheme, that utilizes the P\'{o}lya-Gamma class of distributions, introduced by \citet{Po13}. Given an available set of predictors, we allow for model uncertainty regarding the predictors that affect the series both linearly -- in the mean -- and non-linearly -- in the transition matrix. Predictor selection and inference on the model parameters are based on a MCMC scheme with reversible jump steps. Single-step and multiple-steps-ahead predictions are obtained based on the most probable model, median probability model or a Bayesian Model Averaging (BMA) approach. Simulation experiments, as well as an empirical study on real financial data, illustrate the performance of our algorithm in various setups, in terms of mixing properties, model selection and predictive ability.

연구 동기 및 목표

• 비정상성 숨은 마르코프 모델(NHHMM)을 활용한 단변량 시계열 예측을 위한 유연한 베이지안 프레임워크 개발
• 숨은 마르코프 모델 내에서 로지스틱 회귀 추론의 수렴 문제를 해결하기 위해 새로운 잠재 변수 체계 도입
• 상태별 회귀 및 전이 행렬의 모수, 예측자 선택, 모형 불확실성에 대한 동시 추론 가능화
• 모형 평균화, 가장 가능성이 높은 모형, 중앙 확률 모형 접근법을 통해 예측 성능 향상

제안 방법

• NHHMM의 로지스틱 회귀 구성 요소에서 우도를 단순화하기 위해 폴리아-게이밍 분포를 잠재 변수 체계로 활용
• 외생 예측자의 선형 및 비선형 영향을 포함한 각 숨은 상태에서의 시계열을 별도의 예측 회귀 모형으로 모델링
• 외생 변수에 의존하는 로지스틱 링크 함수를 사용하여 시간에 따라 변화하는 전이 확률 매개화
• 예측자 집합이 평균 및 전이 모형에서 다양할 수 있는 모형 공간 탐색을 위해 역순 이동 MCMC 알고리즘 활용
• 단일 및 다단계 예측을 위한 베이지안 모형 평균화(BMA), 가장 가능성이 높은 모형, 중앙 확률 모형 적용
• 공액 사후 업데이트를 보장하기 위해 잠재 폴리아-게이밍 변수 통합을 통해 MCMC 혼합 및 수렴성 향상

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 전이 확률을 갖는 NHHMM에서 로지스틱 회귀 구성 요소를 포함한 베이지안 추론을 어떻게 효율적으로 수행할 수 있는가?
• RQ2 복잡한 회귀 구조를 가진 NHHMM에서 폴리아-게이밍 데이터 보정이 MCMC 수렴성과 혼합 성능에 얼마나 기여하는가?
• RQ3 모형 불확실성 하에서 평균 및 전이 구성 요소에 대한 관련 예측자를 효과적으로 선택하는 데에 제안된 방법이 얼마나 유용한가?
• RQ4 실제 금융 시계열 데이터에서 단단계 및 다단계 예측에 대해 모델의 예측 성능은 어떠한가?

주요 결과

• 폴리아-게이밍 데이터 보정 체계는 표준 접근 방식에서 흔히 발생하는 수렴 문제를 해결하면서 NHHMM의 안정적이고 효율적인 MCMC 샘플링을 가능하게 한다.
• 역순 이동 MCMC 알고리즘이 모형 불확실성 하에서 평균 및 전이 모형에 대한 관련 예측자를 성공적으로 식별하는 데 기여한다.
• 베이지안 모형 평균화(BMA)를 통한 예측 성능 향상이 단일 모형 접근법보다 뛰어난 예측 정확도를 보였다.
• 시뮬레이션 실험을 통해 양호한 혼합 성능과 모형 매개수, 예측자 효과의 신뢰할 수 있는 추정이 가능함을 입증하였다.
• 실제 금융 데이터에 대한 실증 분석을 통해 모형이 제도 전환을 잘 포착하고 다단계 예측에서 정확한 결과를 도출함을 확인하였다.
• 중앙 확률 모형은 가장 가능성이 높은 모형에 비해 더 뛰어난 예측 안정성을 제공하는 강력한 대안이 된다.