[論文レビュー] Bayesian analysis of predictive Non-Homogeneous hidden Markov models using Polya-Gamma data augmentation

Constandina Koki, Loukia Meligkotsidou+1 more|arXiv (Cornell University)|Feb 8, 2018

Bayesian Methods and Mixture Models参考文献 50被引用数 3

ひとこと要約

本稿では、逐次的予測回帰モデルと外生変数によるロジスティック回帰で駆動される時変遷移確率を有する非定常な隠れマルコフモデル（NHHMM）のベイジアンフレームワークを提案する。ポリア・ガンマのデータ拡張を用いることで、モデルの不確実性を伴う効率的なMCMC推論が可能となり、逆遷移MCMCを組み合わせることで、単変量時系列予測における頑健な予測と変数選択が達成される。

ABSTRACT

We consider Non-Homogeneous Hidden Markov Models (NHHMMs) for forecasting univariate time series. We introduce two state NHHMMs where the time series are modeled via different predictive regression models for each state. Also, the time-varying transition probabilities depend on exogenous variables through a logistic function. In a hidden Markov setting, inference for logistic regression coefficients becomes complicated and in some cases impossible due to convergence issues. To address this problem, we use a new latent variable scheme, that utilizes the P\'{o}lya-Gamma class of distributions, introduced by \citet{Po13}. Given an available set of predictors, we allow for model uncertainty regarding the predictors that affect the series both linearly -- in the mean -- and non-linearly -- in the transition matrix. Predictor selection and inference on the model parameters are based on a MCMC scheme with reversible jump steps. Single-step and multiple-steps-ahead predictions are obtained based on the most probable model, median probability model or a Bayesian Model Averaging (BMA) approach. Simulation experiments, as well as an empirical study on real financial data, illustrate the performance of our algorithm in various setups, in terms of mixing properties, model selection and predictive ability.

研究の動機と目的

• 非定常な隠れマルコフモデル（NHHMM）を用いた単変量時系列予測のための柔軟なベイジアンフレームワークの構築を目的とする。
• 隠れマルコフモデルにおけるロジスティック回帰推論の収束問題を解消するため、新たな潜在変数スキームを導入することを目的とする。
• 状態固有の回帰および遷移行列におけるモデルパラメータ、予測子選択、モデルの不確実性の統合的推論を可能とすることを目的とする。
• モデル平均、最も確率の高いモデル、中央確率モデルの手法を用いることで、予測性能の向上を図ることを目的とする。

提案手法

• NHHMMのロジスティック回帰部における尤度を簡素化するために、ポリア・ガンマ分布を潜在変数スキームとして用いる。
• 各隠れ状態における時系列を、外生予測子の線形および非線形効果を有する別個の予測回帰モデルでモデル化する。
• 外生変数に依存するロジスティックリンク関数を用いて、時変遷移確率をパrameter化する。
• 予測子集合の異なる組み合わせを含むモデル空間を探索するため、逆遷移MCMCアルゴリズムを用いる。
• 単一および複数ステップ先の予測のため、ベイジアンモデル平均（BMA）、最も確率の高いモデル、中央確率モデルを適用する。
• 潜在ポリア・ガンマ変数を統合することで、共役事後更新を確保し、MCMCの混合性および収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時変遷移確率を有するNHHMMにおけるロジスティック回帰部に、ベイジアン推論をどのように効率的に行えるか。
• RQ2 複雑な回帰構造を有するNHHMMにおいて、ポリア・ガンマのデータ拡張がMCMC収束性および混合性をどの程度改善するか。
• RQ3 モデルの不確実性下で、平均および遷移部における関連予測子の選択は、どの程度有効か。
• RQ4 実際の金融時系列データにおいて、単一ステップおよび複数ステップ先の予測において、本手法の予測性能はいかがなものか。

主な発見

• ポリア・ガンマのデータ拡張スキームにより、ロジスティック回帰部を有するNHHMMにおける安定的かつ効率的なMCMCサンプリングが可能となり、標準的手法で一般的に見られる収束問題が克服された。
• 逆遷移MCMCアルゴリズムにより、不確実性下で平均および遷移モデルの関連予測子を効果的に同定できた。
• ベイジアンモデル平均（BMA）を用いることで、予測精度が単一モデル手法を上回る。
• シミュレーション実験では、良好な混合性およびモデルパラメータと予測子効果の信頼性の高い推定が確認された。
• 実際の金融データを用いた実証分析により、モデルがレジームシフトを適切に捉え、正確な複数ステップ先の予測を可能にした。
• 中央確率モデルは、最も確率の高いモデルの代替として優れた予測安定性を示し、より頑健であることが明らかになった。