[论文解读] Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors

Anna Karl, Alex Lenkoski|arXiv (Cornell University)|Feb 27, 2012

Complex Systems and Time Series Analysis参考文献 19被引用 25

一句话总结

本文提出工具变量贝叶斯模型平均（IVBMA），一种计算高效的算法，通过在吉布斯抽样框架内使用条件贝叶斯因子（CBFs）将模型不确定性整合到两阶段线性IV回归中。通过将模型移动嵌入吉布斯采样器，IVBMA实现了简单且混合稳定的模型平均，避免了可逆跳跃MCMC的复杂性，为近似方法提供了一个完全贝叶斯的替代方案。

ABSTRACT

We develop a method to perform model averaging in two-stage linear regression systems subject to endogeneity. Our method extends an existing Gibbs sampler for instrumental variables to incorporate a component of model uncertainty. Direct evaluation of model probabilities is intractable in this setting. We show that by nesting model moves inside the Gibbs sampler, model comparison can be performed via conditional Bayes factors, leading to straightforward calculations. This new Gibbs sampler is only slightly more involved than the original algorithm and exhibits no evidence of mixing difficulties. We conclude with a study of two different modeling challenges: incorporating uncertainty into the determinants of macroeconomic growth, and estimating a demand function by instrumenting wholesale on retail prices.

研究动机与目标

• 解决在存在内生性时工具变量回归中的模型不确定性。
• 通过利用条件贝叶斯因子，克服IV系统中直接模型比较的不可行性。
• 开发一种计算高效且混合性能良好的可逆跳跃MCMC在IV模型平均中的替代方法。
• 提供一个实用的、完全贝叶斯的框架，将模型不确定性整合到标准IV估计中。
• 在最小算法开销下，将现有贝叶斯模型平均技术扩展到具有内生变量的情境。

提出的方法

• 该方法采用最初为IV估计设计的吉布斯采样器框架，通过条件贝叶斯因子（CBFs）扩展以包含模型移动。
• 通过利用多元正态分布的归一化常数，为一阶段和二阶段模型计算CBFs，从而在嵌套层次结构下实现精确的模型比较。
• 将模型移动嵌入吉布斯采样器中，形成一种MC3-within-Gibbs算法，保持了良好的混合特性。
• 通过依赖从CBFs导出的条件模型概率，避免了可逆跳跃MCMC中常见的复杂模型提议机制和混合问题。
• 该方法已通过R包'ivbma'在CRAN上实现，支持单个和多个内生变量。
• 通过在狄利克雷过程混合模型中用IVBMA核替换IV核，该框架可扩展至非正态误差结构。

实验结果

研究问题

• RQ1 如何在不损害MCMC混合性能的前提下，高效地将模型不确定性整合到两阶段工具变量回归中？
• RQ2 条件贝叶斯因子能否为内生回归系统中的模型比较提供一种可行且理论严谨的方法？
• RQ3 与可逆跳跃MCMC等现有方法相比，所提出的IVBMA方法在计算效率和混合行为方面表现如何？
• RQ4 模型平均对宏观经济增长决定因素和需求函数估计中的推断有何影响？
• RQ5 IVBMA框架能否扩展以处理非正态误差和更复杂的似然结构（如广义线性模型）？

主要发现

• 由于采用了简单且嵌入式的模型移动机制，IVBMA方法未表现出混合困难的迹象，而可逆跳跃MCMC则存在此类问题。
• IV模型的条件贝叶斯因子可简化为多元正态分布的归一化常数，从而实现直接且精确的模型比较。
• 该方法仅比原始吉布斯采样器略为复杂，需执行五步而非三步，计算开销极小。
• 在宏观经济经济增长示例中，IVBMA识别出通货膨胀和政治稳定性等关键决定因素，其包含概率较高，同时过滤掉了相关性较低的变量。
• 在人造黄油需求数据集中，IVBMA对价格弹性估计的后验分位数为97.5%，结果为1.841，表明对价格变化具有强烈敏感性。
• R包'ivbma'成功实现了该方法，并通过狄利克雷过程混合模型支持多个内生变量和非正态误差结构的扩展。