[论文解读] bridgesampling: An R Package for Estimating Normalizing Constants

Quentin F. Gronau, Henrik Singmann+1 more|arXiv (Cornell University)|Oct 23, 2017

Statistical Methods and Bayesian Inference被引用 11

一句话总结

本文介绍了 bridgesampling R 包，该包使用桥接抽样——一种稳健且通用的方法——来估计贝叶斯模型比较中的归一化常数（例如，边缘似然）。该方法可实现对使用 Stan 实现的模型的贝叶斯因子的精确且自动化的估计，并在真实数据上成功复现了既有的结果，例如在海龟存活数据的层次广义线性混合模型中，贝叶斯因子 BF₀₁ = 1.273。

ABSTRACT

Statistical procedures such as Bayes factor model selection and Bayesian model averaging require the computation of normalizing constants (e.g., marginal likelihoods). These normalizing constants are notoriously difficult to obtain, as they usually involve high-dimensional integrals that cannot be solved analytically. Here we introduce an R package that uses bridge sampling (Meng & Wong, 1996; Meng & Schilling, 2002) to estimate normalizing constants in a generic and easy-to-use fashion. For models implemented in Stan, the estimation procedure is automatic. We illustrate the functionality of the package with three examples.

研究动机与目标

• 为解决贝叶斯推断中归一化常数估计的长期挑战，特别是针对解析解不可行的高维模型。
• 提供一个用户友好的、通用的 R 包，通过桥接抽样自动估计边缘似然，降低非专家用户的使用门槛。
• 在复杂模型（如层次模型和混合效应模型）中实现贝叶斯因子和后验模型概率的精确且高效计算。
• 通过使用真实世界数据复现文献中的既定结果，证明该方法的可靠性和准确性。

提出的方法

• 该包实现了桥接抽样，这是一种马尔可夫链蒙特卡洛方法，通过在提议密度上对未归一化的后验密度进行加权平均来估计归一化常数。
• 它使用桥接抽样恒等式，通过选择与目标密度高度匹配的最优重要性抽样分布，使估计器的方差最小化。
• 对于 Stan 模型，该包可自动提取后验样本，并应用桥接抽样估计器，无需手动推导重要性密度。
• 该方法支持通用模型和使用 Stan 实现的模型，通过 rstan 接口实现无缝集成。
• 该算法在高维参数空间中表现稳健，在准确性和稳定性方面优于简单的蒙特卡洛方法和重要性抽样。
• 该包提供了如 bridge_sampler 等函数，用于计算对数边缘似然，并支持通过贝叶斯因子进行模型比较。

实验结果

研究问题

• RQ1 桥接抽样能否在 R 包中有效自动化，以估计贝叶斯模型的归一化常数？
• RQ2 bridgesampling 包在层次模型上复现既定贝叶斯因子结果的准确性如何？
• RQ3 在高维设置下，桥接抽样相较于重要性抽样或调和平均估计器等替代方法，其性能优势有多大？
• RQ4 该包能否作为“黑箱”被非专家用户用于复杂模型的模型比较？

主要发现

• bridgesampling 包成功复现了海龟存活数据上 probit 混合模型的既定贝叶斯因子 BF₀₁ = 1.273，证实了其准确性。
• 即使在高维层次模型中，桥接抽样也能提供稳定且精确的边缘似然估计，而其他方法常因失败或高方差而失效。
• 该方法仅需较少的后验样本即可实现高精度，使其在实际贝叶斯模型比较中计算效率高。
• 与 Stan 的集成使得边缘似然的估计完全自动化，用户输入极少，显著降低了贝叶斯模型比较的使用门槛。
• 在精度和鲁棒性方面，该包优于简单的估计器（如朴素蒙特卡洛和重要性抽样），尤其在复杂模型中表现更优。