[论文解读] Bayesian analysis of predictive Non-Homogeneous hidden Markov models using Polya-Gamma data augmentation

Constandina Koki, Loukia Meligkotsidou+1 more|arXiv (Cornell University)|Feb 8, 2018

Bayesian Methods and Mixture Models参考文献 50被引用 3

一句话总结

该论文提出了一种非齐次隐马尔可夫模型（NHHMM）的贝叶斯框架，其中每个状态具有特定的预测回归模型，且时变转移概率通过逻辑回归由外生变量驱动。该方法采用Polya-Gamma数据增广技术，实现高效的MCMC推断，并结合可逆跳跃MCMC处理模型不确定性，从而在单变量时间序列预测中实现稳健的预测与变量选择。

ABSTRACT

We consider Non-Homogeneous Hidden Markov Models (NHHMMs) for forecasting univariate time series. We introduce two state NHHMMs where the time series are modeled via different predictive regression models for each state. Also, the time-varying transition probabilities depend on exogenous variables through a logistic function. In a hidden Markov setting, inference for logistic regression coefficients becomes complicated and in some cases impossible due to convergence issues. To address this problem, we use a new latent variable scheme, that utilizes the P\'{o}lya-Gamma class of distributions, introduced by \citet{Po13}. Given an available set of predictors, we allow for model uncertainty regarding the predictors that affect the series both linearly -- in the mean -- and non-linearly -- in the transition matrix. Predictor selection and inference on the model parameters are based on a MCMC scheme with reversible jump steps. Single-step and multiple-steps-ahead predictions are obtained based on the most probable model, median probability model or a Bayesian Model Averaging (BMA) approach. Simulation experiments, as well as an empirical study on real financial data, illustrate the performance of our algorithm in various setups, in terms of mixing properties, model selection and predictive ability.

研究动机与目标

• 开发一种灵活的贝叶斯框架，用于基于非齐次隐马尔可夫模型（NHHMM）进行单变量时间序列预测。
• 通过引入一种新颖的隐变量方案，解决隐马尔可夫模型中逻辑回归推断的收敛性问题。
• 实现在状态特定回归模型与转移矩阵中，对模型参数、预测变量选择及模型不确定性的联合推断。
• 通过模型平均、最可能模型或中位概率模型方法，提升预测性能。

提出的方法

• 利用Polya-Gamma分布作为隐变量方案，简化NHHMM中逻辑回归组件的似然函数。
• 在每个隐状态中，使用具有外生预测变量线性和非线性效应的独立预测回归模型来建模时间序列。
• 通过依赖于外生变量的逻辑链接函数，参数化时变转移概率。
• 采用可逆跳跃MCMC算法探索模型空间，包括在均值模型和转移模型中变化的预测变量集合。
• 应用贝叶斯模型平均（BMA）、最可能模型或中位概率模型，实现单步与多步预测。
• 通过引入潜在的Polya-Gamma变量，确保后验更新的共轭性，从而提升MCMC的混合效率与收敛性。

实验结果

研究问题

• RQ1 在具有逻辑回归组件以实现时变转移概率的NHHMM中，如何实现高效的贝叶斯推断？
• RQ2 Polya-Gamma数据增广在具有复杂回归结构的NHHMM中，对MCMC收敛性与混合性有多大的改善作用？
• RQ3 在模型不确定性下，该方法在均值与转移组件中选择相关预测变量的有效性如何？
• RQ4 该模型在真实金融时间序列中的单步与多步预测中，预测性能如何？

主要发现

• Polya-Gamma数据增广方案在具有逻辑回归组件的NHHMM中实现了稳定且高效的MCMC采样，克服了标准方法中常见的收敛性问题。
• 可逆跳跃MCMC算法成功探索了模型空间，在不确定性下识别出均值与转移模型中的相关预测变量。
• 通过贝叶斯模型平均（BMA）实现的预测性能优于单一模型方法，预测准确性更高。
• 模拟实验表明，该方法具有良好的混合特性，并能可靠估计模型参数与预测变量效应。
• 基于真实金融数据的实证分析证实，该模型能够捕捉状态转换，并实现准确的多步预测。
• 中位概率模型为最可能模型提供了稳健的替代方案，显著提升了预测的稳定性。