[论文解读] Bayesian Inference in High-Dimensional Time-varying Parameter Models using Integrated Rotated Gaussian Approximations

Florian Huber, Gary Koop+1 more|arXiv (Cornell University)|Feb 24, 2020

Statistical Methods and Inference参考文献 27被引用 7

一句话总结

本文提出集成旋转高斯近似（IRGA）方法，用于在高维时变参数（TVP）模型中实现计算高效的贝叶斯推断。通过利用高斯分布的旋转不变性，IRGA 将常数系数与高维TVP分离处理，对TVP采用快速近似方法（VAMP），对系数则采用精确的MCMC方法，从而在具有随机波动性的大型宏观经济学模型中实现可扩展的预测与结构分析。

ABSTRACT

Researchers increasingly wish to estimate time-varying parameter (TVP) regressions which involve a large number of explanatory variables. Including prior information to mitigate over-parameterization concerns has led to many using Bayesian methods. However, Bayesian Markov Chain Monte Carlo (MCMC) methods can be very computationally demanding. In this paper, we develop computationally efficient Bayesian methods for estimating TVP models using an integrated rotated Gaussian approximation (IRGA). This exploits the fact that whereas constant coefficients on regressors are often important, most of the TVPs are often unimportant. Since Gaussian distributions are invariant to rotations we can split the the posterior into two parts: one involving the constant coefficients, the other involving the TVPs. Approximate methods are used on the latter and, conditional on these, the former are estimated with precision using MCMC methods. In empirical exercises involving artificial data and a large macroeconomic data set, we show the accuracy and computational benefits of IRGA methods.

研究动机与目标

• 解决在具有大量解释变量的高维TVP模型中，基于MCMC的贝叶斯估计因计算成本过高而不可行的问题。
• 开发一种高效处理大规模TVP-VAR模型的方法，同时保持预测与结构分析的准确性。
• 将随机波动性纳入IRGA框架，扩展先前仅限于同方差误差的模型研究。
• 证明TVP模型能提供超越常数系数模型的有意义洞见，尤其在小至中等信息集下。
• 表明IRGA可使原本因计算不可行而无法处理的大规模模型实现实际可行的计算时间。

提出的方法

• IRGA 将参数空间划分为两部分：感兴趣的常数系数与高维的时变参数（干扰项），利用高斯先验的旋转不变性。
• 高维TVP部分通过向量近似消息传递（VAMP）进行近似，这是一种适用于高维推断的快速、可扩展算法。
• 在VAMP对TVP的近似基础上，采用高精度MCMC估计常数系数，确保关键参数的准确性。
• 通过状态空间表示引入随机波动性，将IRGA扩展至具有时变误差方差的模型。
• 采用收缩先验（如SBL和S&S先验）在TVP中诱导稀疏性，实现对时变系数的灵活检测。
• 通过人工数据和大规模美国宏观经济数据集对方法进行验证，并与MCMC基准及常数系数模型进行比较。

实验结果

研究问题

• RQ1 在标准MCMC因计算不可行而失效的高维TVP模型中，IRGA能否实现准确且计算高效的贝叶斯推断？
• RQ2 在IRGA框架中引入随机波动性是否能在保持计算效率的同时提升模型拟合度？
• RQ3 通过IRGA估计的TVP-VAR模型在不同模型规模下，其预测性能与常数系数VAR模型相比如何？
• RQ4 在何种模型维度下，时变系数显著改变了冲击响应动态，而非常数系数模型？
• RQ5 在多大程度上，基于IRGA的TVP模型揭示了常数系数模型所无法捕捉的结构洞见，特别是在应对不确定性冲击时？

主要发现

• IRGA 在大规模模型中实现与MCMC基准相当的预测性能，同时将计算时间减少数个数量级。
• 在大规模美国宏观经济数据集（2005–2019）中，基于IRGA的TVP-VAR模型在样本外预测准确性上优于常数系数基准模型。
• 对于小规模和中等规模的VAR模型，TVP与常数系数模型之间冲击响应差异的后验可信区间频繁不包含零，表明存在显著的结构差异。
• 在大规模模型中，冲击响应差异的后验可信区间包含零，表明当已包含大量解释变量时，系数的时间变异性影响较小。
• IRGA方法成功整合了随机波动性，使在异方差误差下也能实现稳健推断，且不损失计算速度。
• 实证结果证实，通过IRGA估计的TVP模型提供了常数系数模型无法获得的洞见，尤其在信息量较小、遗漏变量偏差为关注重点的情境下。