[论文解读] Importance sampling methods for Bayesian discrimination between embedded models

Jean‐Michel Marin, Christian P. Robert|ArXiv.org|Oct 13, 2009

Statistical Methods and Bayesian Inference参考文献 21被引用 49

一句话总结

本文评估了在贝叶斯模型比较中用于近似贝叶斯因子的重要性抽样方法，重点关注如probit回归这样的嵌入模型。比较了粗略蒙特卡洛、重要性抽样、桥接抽样、调和平均法和Chib方法，发现对于Pima印度糖尿病数据集，重要性抽样及其调和平均变体具有极高的效率，而尽管速度较慢，Chib方法仍可作为可靠的备用方案。

ABSTRACT

This paper surveys some well-established approaches on the approximation of Bayes factors used in Bayesian model choice, mostly as covered in Chen et al. (2000). Our focus here is on methods that are based on importance sampling strategies rather than variable dimension techniques like reversible jump MCMC, including: crude Monte Carlo, maximum likelihood based importance sampling, bridge and harmonic mean sampling, as well as Chib's method based on the exploitation of a functional equality. We demonstrate in this survey how these different methods can be efficiently implemented for testing the significance of a predictive variable in a probit model. Finally, we compare their performances on a real dataset.

研究动机与目标

• 评估并比较各种蒙特卡洛方法在贝叶斯模型选择中近似贝叶斯因子的性能。
• 评估在真实世界probit模型设置下，重要性抽样、桥接抽样、调和平均法和Chib方法在效率和准确性方面的表现。
• 为在嵌入模型中选择最有效的贝叶斯模型区分方法提供建议。
• 证明，通过使用模型内模拟技术，可以有效计算贝叶斯因子，而无需采用复杂的横维MCMC方法。

提出的方法

• 使用以先验分布作为提议密度的重要性抽样来估计边缘似然。
• 通过构建伪后验分布来应用桥接抽样，以提高标准重要性抽样估计的准确性。
• 将调和平均估计器作为基准，尽管其已知具有高方差。
• 基于函数恒等式和Rao-Blackwellized MCMC对后验密度在单一点的估计，使用Chib方法。
• 采用probit模型的潜变量表示法，以促进后验计算和Chib近似。
• 通过100次重复的蒙特卡洛实验，实证评估每种方法的变异性与性能。

实验结果

研究问题

• RQ1 在嵌入模型中，不同基于重要性抽样的方法在估计贝叶斯因子的准确性与计算效率方面如何比较？
• RQ2 在Pima印度糖尿病数据集的probit模型背景下，桥接抽样与重要性抽样的相对表现如何？
• RQ3 当其他方法失效或不稳定时，Chib方法能否作为贝叶斯因子估计的可靠参考？
• RQ4 使用潜变量表示法在多大程度上提高了probit模型中后验密度估计的准确性？
• RQ5 在真实数据集中，不同蒙特卡洛方法的边缘似然近似值在多大程度上存在差异？

主要发现

• 重要性抽样及其调和平均变体表现出最高的效率，其中重要性抽样估计的计算速度显著更快。
• 桥接抽样估计器的标准差最高（0.1357），表明其变异性较大，尽管理论上更具鲁棒性。
• Chib方法的中位数贝叶斯因子估计为3.104，标准差较低（0.0195），显示出高精度，尽管在效率上不及重要性抽样。
• 重要性抽样估计的标准差仅为0.0017，表明在重复实验中具有极高的稳定性。
• 尽管理论上具有优势，桥接抽样在此案中表现欠佳，原因在于伪后验构造中的近似误差。
• 结果表明，当能够获得后验的良好近似时，重要性抽样可作为首选方法，而Chib方法则可作为可靠的备用方案。