[论文解读] Achieving Parsimony in Bayesian VARs with the Horseshoe Prior

Lendie Follett, Cindy Yu|arXiv (Cornell University)|Sep 21, 2017

Forecasting Techniques and Applications参考文献 21被引用 4

一句话总结

本文在贝叶斯VAR模型中引入了马蹄形先验，通过将无关系数收缩至零来实现模型的简洁性，同时保留较大的、有意义的信号。通过模拟和实证分析表明，马蹄形先验在预测准确性方面优于传统的收缩先验，并与离散混合先验相当，且具有更低的RMSFE和更优的计算效率。

ABSTRACT

In the context of a vector autoregression (VAR) model, or any multivariate regression model, the number of relevant predictors may be small relative to the information set available from which to build a prediction equation. It is well known that forecasts based off of (un-penalized) least squares estimates can overfit the data and lead to poor predictions. Since the Minnesota prior was proposed (Doan et al. (1984)), there have been many methods developed aiming at improving prediction performance. In this paper we propose the horseshoe prior (Carvalho et al. (2010), Carvalho et al. (2009)) in the context of a Bayesian VAR. The horseshoe prior is a unique shrinkage prior scheme in that it shrinks irrelevant signals rigorously to 0 while allowing large signals to remain large and practically unshrunk. In an empirical study, we show that the horseshoe prior competes favorably with shrinkage schemes commonly used in Bayesian VAR models as well as with a prior that imposes true sparsity in the coefficient vector. Additionally, we propose the use of particle Gibbs with backwards simulation (Lindsten et al. (2012), Andrieu et al. (2010)) for the estimation of the time-varying volatility parameters. We provide a detailed description of all MCMC methods used in the supplementary material that is available online.

研究动机与目标

• 为解决高维贝叶斯VAR模型中的过拟合问题，引入一种能够实现简洁系数估计的先验。
• 在多变量时间序列预测的背景下，评估马蹄形先验——该先验以其能将无关系数收缩至零同时保留显著信号的能力而著称——的表现。
• 在贝叶斯VAR框架下，将马蹄形先验的预测性能与已确立的收缩先验（如岭回归、拉普拉斯）和离散混合先验进行比较。
• 开发并实现一种基于粒子吉布斯与逆向模拟的高效MCMC算法，用于估计模型中的时变波动率。
• 评估马蹄形先验相对于离散混合先验在可解释性和计算可行性方面的表现，特别是在中等规模VAR模型中的表现。

提出的方法

• 在贝叶斯VAR中采用马蹄形先验作为收缩先验，其中每个系数均具有独立的局部收缩参数，该参数从半柯西分布中抽取。
• 使用全局收缩参数控制整体收缩程度，从而实现对无关系数的极端收缩，同时对显著系数施加最小程度的收缩。
• 采用粒子吉布斯与逆向模拟（PGBS）方法，联合估计时变波动率和系数参数，以改善MCMC的混合与收敛性。
• 通过在每个序列的对数方差上使用随机游走过程来建模随机波动率，并对静态相关矩阵采用非信息先验。
• 使用MCMC抽样估计系数、波动率和包含指标的后验分布，条件后验推导详见补充材料。
• 使用RMSFE（均方预测误差的平方根）作为主要评估指标，将马蹄形先验与岭回归、拉普拉斯、离散混合及明尼苏达风格先验进行比较。

实验结果

研究问题

• RQ1 马蹄形先验是否能在贝叶斯VAR模型中实现与离散混合先验相当的预测性能，同时计算效率更高？
• RQ2 马蹄形先验将无关系数收缩至零的能力，在高维宏观VAR模型中如何影响预测准确性？
• RQ3 与传统收缩先验（如岭回归、拉普拉斯）相比，马蹄形先验在多个宏观经济变量上的RMSFE表现如何？
• RQ4 在与马蹄形先验结合时，建模时变波动率在多大程度上提升了预测准确性？
• RQ5 马蹄形先验的局部收缩参数后验密度在多变量预测模型中如何帮助解释系数重要性的可解释性？

主要发现

• 在实证研究中，马蹄形先验在所有系列上的平均RMSFE最低，优于岭回归、拉普拉斯和明尼苏达风格先验。
• 马蹄形先验的预测性能几乎与以精确稀疏性著称的离散混合先验相当，但其计算成本显著更低。
• 马蹄形先验的RMSFE平均值为0.834，而离散混合先验为0.857，表明其在预测准确性上具有持续改进。
• 马蹄形先验通过局部收缩参数$\kappa_{ijk}^{HS}$提供了可解释的后验收缩图谱，其视觉表现与后验包含概率及信号系数重要性高度一致。
• 粒子吉布斯与逆向模拟算法实现了对时变波动率和系数的高效联合估计，显著提升了高维模型中MCMC的效率。
• 由于MCMC抽样中无需引入二值包含指标，马蹄形先验的计算成本显著低于离散混合先验，同时保持了强大的预测性能和可解释性优势。