[论文解读] Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution

Martin D. Weinberg|arXiv (Cornell University)|Nov 9, 2009

Bayesian Methods and Mixture Models参考文献 17被引用 7

一句话总结

该论文提出了两种稳健且数值稳定的算法——嵌套似然近似（NLA）与体积加权近似（VTA），用于从MCMC后验样本中计算边缘似然，克服了调和平均近似法的不稳定性以及拉普拉斯近似法的强假设限制。主要贡献在于无需对后验分布形状施加严格假设，即可实现可靠的贝叶斯因子估计，数值实验验证了其在性能上优于现有方法。

ABSTRACT

Computation of the marginal likelihood from a simulated posterior distribution is central to Bayesian model selection but is computationally difficult. I argue that the marginal likelihood can be reliably computed from a posterior sample by careful attention to the numerics of the probability integral. Posing the expression for the marginal likelihood as a Lebesgue integral, we may convert the harmonic mean approximation from a sample statistic to a quadrature rule. As a quadrature, the harmonic mean approximation suffers from enormous truncation error as consequence . In addition, I demonstrate that the integral expression for the harmonic-mean approximation converges slowly at best for high-dimensional problems with uninformative prior distributions. These observations lead to two computationally-modest families of quadrature algorithms that use the full generality sample posterior but without the instability. The first algorithm automatically eliminates the part of the sample that contributes large truncation error. The second algorithm uses the posterior sample to assign probability to a partition of the sample space and performs the marginal likelihood integral directly. This eliminates convergence issues. The first algorithm is analogous to standard quadrature but can only be applied for convergent problems. The second is a hybrid of cubature: it uses the posterior to discover and tessellate the subset of that sample space was explored and uses quantiles to compute a representive field value. Neither algorithm makes strong assumptions about the shape of the posterior distribution and neither is sensitive outliers. [abridged]

研究动机与目标

• 解决从MCMC样本估计边缘似然时调和平均近似法（HMA）存在的不稳定性与不准确性问题。
• 克服拉普拉斯近似法对后验分布施加的强参数假设，从而限制其在一般后验分布中的适用性。
• 开发数值稳定、通用的边缘似然估计算法，适用于多种模型，包括高维与非椭球形后验分布。
• 提供一种实用且一致的方法，仅使用后验MCMC样本即可计算贝叶斯因子，用于贝叶斯模型选择。
• 为复杂现实问题中传统方法因数值不稳定性而失效的情况，提供一种可靠的模型比较框架。

提出的方法

• 将边缘似然表述为勒贝格积分，并将调和平均近似重新解释为一种因样本空间覆盖不足而导致固有截断误差的求积规则。
• 提出嵌套似然近似（NLA），利用二元空间划分（BSP）树，特别是kd树，识别参数空间中后验密度显著的充分采样子集Ωₛ，并仅在Ωₛ上计算积分，以减少截断误差。
• 开发体积加权近似（VTA），一种混合求积方法，基于MCMC样本对参数空间进行划分，通过分位数为各单元分配概率，并利用体积加权场值直接计算边缘似然。
• 利用后验样本引导参数空间的剖分，确保高后验密度区域得到充分表示，从而降低稀疏采样带来的偏差。
• 对积分中的指示函数（公式13–16）采用阶梯函数近似，可通过在每个单元内使用低阶多项式拟合进一步提升精度。
• 建议结合使用NLA与VTA作为一致性检验，以验证边缘似然估计结果，降低在复杂或高维问题中失败的风险。

实验结果

研究问题

• RQ1 能否通过将调和平均近似重新解释为具有可控截断误差的求积规则，来实现其稳定化与改进？
• RQ2 在不假设后验分布具有特定参数形式的前提下，如何可靠地从MCMC样本中估计边缘似然？
• RQ3 MCMC样本的空间覆盖程度在边缘似然估计精度中起到何种作用？
• RQ4 自适应的非参数积分技术是否能在高维或多重峰后验分布中优于传统方法（如拉普拉斯近似）？
• RQ5 在不同模型复杂度与先验分布下，所提出的算法（NLA与VTA）在偏差、方差与鲁棒性方面如何比较？

主要发现

• 调和平均近似法因对罕见但具有显著先验概率的低似然样本高度敏感而失效，这些样本如同异常值，主导了估计结果。
• NLA算法通过使用kd树对MCMC样本进行分区，识别出参数空间中充分采样的子集Ωₛ，并将积分限制在该子集上，从而减少截断误差。
• VTA算法通过对基于后验的单元概率与代表性场值进行直接积分，实现对剖分后参数空间的积分，消除了HMA中固有的收敛问题。
• 数值测试表明，NLA与VTA在偏差与方差方面均优于调和平均近似法与拉普拉斯近似法。
• VTA优于NLA，因其无需截断阈值h∗，具有内在稳定性，且在高维空间中仍能保持一致性能。
• 建议结合使用NLA与VTA作为稳健的一致性检验，以确保在实际应用中实现可靠的边缘似然估计。