[論文レビュー] Achieving Parsimony in Bayesian VARs with the Horseshoe Prior

Lendie Follett, Cindy Yu|arXiv (Cornell University)|Sep 21, 2017

Forecasting Techniques and Applications参考文献 21被引用数 4

ひとこと要約

本稿は、不要な係数をゼロに近づける一方で、大きな意味のある信号を保持するため、ベイesian VARモデルにおけるスパarsityを達成するためにホースシュー・プライアを導入する。シミュレーションおよび実証的分析を通じて、ホースシュー・プライアが従来の縮小プライアを上回り、予測精度において離散混合プライアと同等の性能を示すことが示された。予測誤差の均乗根（RMSFE）が低く、計算効率が優れている。

ABSTRACT

In the context of a vector autoregression (VAR) model, or any multivariate regression model, the number of relevant predictors may be small relative to the information set available from which to build a prediction equation. It is well known that forecasts based off of (un-penalized) least squares estimates can overfit the data and lead to poor predictions. Since the Minnesota prior was proposed (Doan et al. (1984)), there have been many methods developed aiming at improving prediction performance. In this paper we propose the horseshoe prior (Carvalho et al. (2010), Carvalho et al. (2009)) in the context of a Bayesian VAR. The horseshoe prior is a unique shrinkage prior scheme in that it shrinks irrelevant signals rigorously to 0 while allowing large signals to remain large and practically unshrunk. In an empirical study, we show that the horseshoe prior competes favorably with shrinkage schemes commonly used in Bayesian VAR models as well as with a prior that imposes true sparsity in the coefficient vector. Additionally, we propose the use of particle Gibbs with backwards simulation (Lindsten et al. (2012), Andrieu et al. (2010)) for the estimation of the time-varying volatility parameters. We provide a detailed description of all MCMC methods used in the supplementary material that is available online.

研究の動機と目的

• 高次元のベイesian VARモデルにおける過剰適合を是正するため、係数推定をスパースに可能にするプライアを導入すること。
• 多変量時系列予測の文脈において、不要な係数をゼロに近づけつつも大きな信号を保持できるという特徴を持つホースシュー・プライアの性能を評価すること。
• ベイesian VARフレームワーク内において、ホースシュー・プライアの予測性能を、既存の縮小プライア（例：リッジ、ラプラス）および離散混合プライアと比較すること。
• 時変動ボラティリティを推定するため、バックワード・シミュレーションを用いた粒子ギブス法（PGBS）を用いた効率的なMCMCアルゴリズムの開発および実装。
• 特に中規模VARにおいて、ホースシュー・プライアの解釈可能性および計算可能性を、離散混合プライアと比較して評価すること。

提案手法

• ベイesian VARにおいて、各係数が個別の局所的縮小パラメータを有し、そのパラメータが半コーシー分布から抽出されるホースシュー・プライアを採用する。
• 全体の縮小度合いを制御するグローバルな縮小パラメータを用い、不要な係数に対して極端な縮小を、重要な係数に対しては最小限の縮小を実現する。
• MCMCの混合性および収束性を向上させるために、時変動ボラティリティと係数パラメータを同時に推定するため、粒子ギブス法とバックワード・シミュレーション（PGBS）を実装する。
• 各系列の対数分散におけるランダムウォークとして確率的ボラティリティをモデル化し、静的相関行列には非情報的プライアを適用する。
• MCMCサンプリングにより、係数、ボラティリティ、包含指標の事後分布を推定し、条件付き事後分布の導出は補足資料に記載する。
• RMSFE（予測誤差の均乗根）を主な評価指標として、ホースシュー・プライアをリッジ、ラプラス、離散混合、ミニョルン風プライアと比較する。

実験結果

リサーチクエスチョン

• RQ1 ホースシュー・プライアは、離散混合プライアと同等の予測性能を達成しつつ、計算コストを著しく低く抑えることができるか？
• RQ2 ホースシュー・プライアが不要な係数をゼロに近づける能力が、高次元マクロ経済VARにおける予測精度に与える影響は何か？
• RQ3 ホースシュー・プライアは、リッジ、ラプラスといった従来の縮小プライアと比較して、複数のマクロ経済変数におけるRMSFEの観点から、どの程度優れた性能を示すか？
• RQ4 時変動ボラティリティをモデル化することで、ホースシュー・プライアと併用した場合、予測精度がどの程度向上するか？
• RQ5 ホースシューの局所的縮小パラメータの事後密度は、多変量予測モデルにおける係数の重要性の解釈可能性にどのように寄与するか？

主な発見

• 実証的分析において、ホースシュー・プライアは全系列の平均RMSFEを最低に達成し、リッジ、ラプラス、ミニョルン風プライアを上回った。
• ホースシュー・プライアの予測性能は、正確なスパarsityを特徴とする離散混合プライアとほぼ同等であったが、計算コストは著しく低かった。
• ホースシュー・プライアのRMSFEは平均0.834であり、離散混合プライアの0.857と比較して、一貫した予測精度の向上が確認された。
• 局所的縮小パラメータ $\kappa_{ijk}^{HS}$ を通じて、事後包含確率と信号係数の重要性と整合する解釈可能な事後縮小プロファイルが得られた。
• 粒子ギブス法とバックワード・シミュレーションを用いたアルゴリズムにより、時変動ボラティリティと係数パラメータの効率的かつ同時推定が可能となり、高次元モデルにおけるMCMCの効率性が向上した。
• ホースシュー・プライアは、MCMCサンプリングにおいて二値の包含指標を必要としないため、離散混合プライアよりも計算コストが低く抑えられ、予測性能および解釈可能性の両面で優れた優位性を維持した。