[论文解读] Dynamic sparsity on dynamic regression models

Paloma W. Uribe, Hedibert F. Lopes|arXiv (Cornell University)|Sep 29, 2020

Statistical Methods and Inference参考文献 20被引用 11

一句话总结

本文提出了一种用于时变参数回归模型的动态稀疏斯皮克-板条先验，通过在系数方差上使用马氏链切换先验，实现了动态稀疏性。通过将潜在状态的边缘吉布斯采样与条件前向-后向抽样（FFBS）步骤相结合，该方法实现了高效的马尔可夫链蒙特卡洛（MCMC）抽样，在模拟数据和真实通胀预测数据上的预测精度和计算速度均优于现有方法。

ABSTRACT

In the present work, we consider variable selection and shrinkage for the Gaussian dynamic linear regression within a Bayesian framework. In particular, we propose a novel method that allows for time-varying sparsity, based on an extension of spike-and-slab priors for dynamic models. This is done by assigning appropriate Markov switching priors for the time-varying coefficients' variances, extending the previous work of Ishwaran and Rao (2005). Furthermore, we investigate different priors, including the common Inverted gamma prior for the process variances, and other mixture prior distributions such as Gamma priors for both the spike and the slab, which leads to a mixture of Normal-Gammas priors (Griffin ad Brown, 2010) for the coefficients. In this sense, our prior can be view as a dynamic variable selection prior which induces either smoothness (through the slab) or shrinkage towards zero (through the spike) at each time point. The MCMC method used for posterior computation uses Markov latent variables that can assume binary regimes at each time point to generate the coefficients' variances. In that way, our model is a dynamic mixture model, thus, we could use the algorithm of Gerlach et al (2000) to generate the latent processes without conditioning on the states. Finally, our approach is exemplified through simulated examples and a real data application.

研究动机与目标

• 解决高维动态回归模型中时变变量选择的挑战。
• 克服静态稀疏方法在捕捉预测变量随时间演变的相关性方面的局限性。
• 开发一种可扩展的贝叶斯框架，同时在时变系数中实现平滑性（板条）与收缩性（斯皮克）。
• 通过结合吉布斯-FFBS混合算法联合抽样潜在状态与系数，提升MCMC效率。
• 在包含31个预测变量的真实数据中，展示该方法在模拟数据与实际通胀预测中的有效性。

提出的方法

• 通过在时变系数方差上使用马氏链切换先验，提出斯皮克-板条先验的动态扩展。
• 将系数方差建模为状态相关，利用二值潜在变量在每个时间点指示包含（板条）或排除（斯皮克）。
• 采用正态-伽马混合先验对系数建模，实现时间上的灵活收缩与平滑性。
• 实施一种联合MCMC抽样方案，结合潜在状态的边缘吉布斯抽样与系数的条件FFBS抽样。
• 借鉴Gerlach等（2000）的算法，无需依赖其状态，对潜在状态进行抽样，从而改善混合效果。
• 将该方法应用于具有时变参数的动态线性模型，利用Cholesky分解实现高效计算。

实验结果

研究问题

• RQ1 如何将斯皮克-板条先验扩展以支持动态回归模型中的时变稀疏性？
• RQ2 在系数方差上使用马氏链切换先验对时变变量选择有何影响？
• RQ3 与动态系统中完整的条件抽样相比，所提出的MCMC方案在效率与混合性方面表现如何？
• RQ4 在高维、时变设置下，该方法能否实现优于现有方法的预测精度？
• RQ5 在包含31个预测变量的真实通胀预测中，该动态稀疏模型表现如何？

主要发现

• 在模拟示例中，动态NMIG先验的均方根误差（RMSE）均值为0.2472，中位数为0.2863，优于拉普拉斯先验与NG先验。
• 在通胀预测应用中，所提方法结果与NGAR模型相当，NMIG的均值结果紧密跟踪NGAR的红色实线。
• NMIG先验的95%可信区间较窄且校准良好，表明不确定性量化可靠。
• 由于联合抽样潜在状态与系数，该方法表现出计算效率，避免了缓慢的完整条件更新。
• 使用Beta先验对转移概率建模，并通过经验贝叶斯方法调整超参数，提升了模型稳定性与收敛性。
• 该模型成功捕捉了预测变量的时变相关性，动态稀疏性反映了随时间变化的经济状况。