[论文解读] A remarkably simple and accurate method for computing the Bayes Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution in high dimension

Martin D. Weinberg, Ilsang Yoon+1 more|arXiv (Cornell University)|Jan 14, 2013

Statistical Methods and Bayesian Inference参考文献 7被引用 10

一句话总结

本文提出了一种简单且精确的方法，通过利用MCMC样本计算高维模型中的贝叶斯因子：它识别出后验密度最高区域（即众数周围的子区域），对该区域进行均匀重采样，并使用朴素蒙特卡洛积分法估计边缘似然。该方法在16维问题中实现了5%的误差率，使得在以往方法失效的情况下也能实现精确的模型选择。

ABSTRACT

Weinberg (2012) described a constructive algorithm for computing the marginal likelihood, Z, from a Markov chain simulation of the posterior distribution. Its key point is: the choice of an integration subdomain that eliminates subvolumes with poor sampling owing to low tail-values of posterior probability. Conversely, this same idea may be used to choose the subdomain that optimizes the accuracy of Z. Here, we explore using the simulated distribution to define a small region of high posterior probability, followed by a numerical integration of the sample in the selected region using the volume tessellation algorithm described in Weinberg (2012). Even more promising is the resampling of this small region followed by a naive Monte Carlo integration. The new enhanced algorithm is computationally trivial and leads to a dramatic improvement in accuracy. For example, this application of the new algorithm to a four-component mixture with random locations in 16 dimensions yields accurate evaluation of Z with 5% errors. This enables Bayes-factor model selection for real-world problems that have been infeasible with previous methods.

研究动机与目标

• 解决高维贝叶斯模型选择中边缘似然估计的计算不可行性问题。
• 在无需新增MCMC运行或复杂剖分算法的前提下，提高贝叶斯因子计算的准确性。
• 仅使用现有的MCMC样本，实现对复杂高维模型（尤其是天文学领域）的可靠模型比较。
• 开发一种计算轻量且在不同模型维度和结构下均具有鲁棒性的方法。

提出的方法

• 该方法从现有的MCMC样本中选取一个后验密度最高的子区域 Ωₛ，聚焦于后验分布的主导众数区域。
• 在 Ωₛ 内部对点进行均匀重采样，以确保似然函数数值积分的稳定性和低方差。
• 通过原始MCMC链中的样本计数，估计边缘似然积分左侧（即落入 Ωₛ 的样本比例）。
• 利用重采样点上的朴素蒙特卡洛积分法计算右侧（即 Ωₛ 上似然函数的积分）。
• 该方法避免了先前工作中复杂的体积剖分算法，显著降低了计算开销。
• 其核心思想是：后验概率在核心区域变化缓慢，因此均匀重采样能有效且准确地实现积分。

实验结果

研究问题

• RQ1 是否可以利用MCMC样本的子区域，在高维模型中以高精度估计边缘似然？
• RQ2 对所选子区域进行重采样是否能提高数值稳定性并降低边缘似然估计的方差？
• RQ3 与先前算法相比，该方法的性能如何，尤其是在维度增加时？
• RQ4 该方法是否能在不进行额外MCMC采样或复杂几何划分的前提下实现高精度？

主要发现

• 该方法在16维四分量高斯混合模型中实现了边缘似然估计5%的误差率，显著优于先前方法。
• 对后验密度最高子区域进行重采样后，结果与精确值的偏差在25%以内，且大多数估计值更接近真实值。
• 由于核心区域后验概率变化缓慢，对重采样子区域使用朴素蒙特卡洛积分法的性能与更复杂的立方积分方法相当。
• 该方法在高维情况下显著优于原始体积剖分算法，且完全消除了复杂剖分的需要。
• 即使在具有复杂、随机分布众数的多峰后验分布中，该方法也表现出鲁棒性，仿真结果已证实这一点。
• 该方法使原本使用标准技术无法处理的真实高维问题得以实现精确的贝叶斯因子计算。