[论文解读] Bayesian evidence: can we beat MultiNest using traditional MCMC methods?

Rutger van Haasteren|ArXiv.org|Nov 11, 2009

Pulsars and Gravitational Waves Research参考文献 1被引用 3

一句话总结

该论文提出了一种新颖的方法，仅使用标准MCMC链即可计算贝叶斯证据，无需重新运行模拟，通过利用一组不相关的样本实现高精度。在高维、尖峰型问题中，其性能优于MultiNest，并且在使用不相关链时可达到理论上的泊松误差极限。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods have revolutionised Bayesian data analysis over the years by making the direct computation of posterior probability densities feasible on modern workstations. However, the calculation of the prior predictive, the Bayesian evidence, has proved to be notoriously difficult with standard techniques. In this work a method is presented that lets one calculate the Bayesian evidence using nothing but the results from standard MCMC algorithms, like Metropolis-Hastings. This new method is compared to other methods like MultiNest, and greatly outperforms the latter in several cases. One of the toy problems considered in this work is the analysis of mock pulsar timing data, as encountered in pulsar timing array projects. This method is expected to be useful as well in other problems in astrophysics, cosmology and particle physics.

研究动机与目标

• 开发一种仅使用现有MCMC链计算贝叶斯证据的方法，避免需要新的采样。
• 克服传统方法（如调和平均估计器和平行温度法）的局限性，后者存在不准确或计算成本高的问题。
• 评估标准MCMC方法在证据计算中是否能超越高级嵌套采样算法（如MultiNest）的表现。
• 评估MCMC链相关性对证据估计精度和收敛性的影响。
• 为计算出的贝叶斯证据提供一种可靠的自展法误差估计。

提出的方法

• 该方法使用后验分布中的一组MCMC样本，具体为后验密度高于某一阈值区域内的样本。
• 通过公式 $ I = \frac{1}{N} \sum_{i \in F_t} \frac{\pi(\vec{\Theta}_i) L(\vec{\Theta}_i)}{p(\vec{\Theta}_i)} $ 对贝叶斯证据进行估计，其中 $ F_t $ 是后验密度高于阈值 $ t $ 的样本子集。
• 该算法依赖于在标准MCMC运行过程中同时存储归一化后的后验值与参数样本。
• 采用自展重采样程序来估计证据积分的不确定性，确保误差估计的可靠性。
• 该方法在玩具问题和脉冲星计时数据模型上进行了测试，与MultiNest和平行温度法进行了性能比较。
• 当使用不相关链时，该方法可达到理论上的泊松误差极限 $ \sigma = I / \sqrt{N} $，表明其效率最优。

实验结果

研究问题

• RQ1 是否可以仅使用标准MCMC链而无需额外采样，准确计算贝叶斯证据？
• RQ2 在高维、尖峰型后验分布问题中，该MCMC基证据估计器与MultiNest相比表现如何？
• RQ3 MCMC链的相关性在多大程度上会降低贝叶斯证据估计的精度？
• RQ4 当使用不相关样本时，该方法是否能达到随机积分方法的理论误差极限？
• RQ5 阈值 $ c $ 和样本量 $ N $ 的选择如何影响证据估计的精度与稳定性？

主要发现

• 所提出的方法在高维、尖峰型后验分布中，其精度和效率显著优于MultiNest。
• 当使用不相关MCMC样本时，该方法达到理论上的泊松误差极限 $ \sigma = I / \sqrt{N} $，表明性能最优。
• 相关MCMC链会降低证据估计的精度，即使样本量 $ N $ 很大，也需更长的链以减少不确定性。
• 增加样本数 $ N $ 和阈值 $ c $ 可提高精度，但自展误差随 $ c $ 增大而上升，表明稳定性下降。
• 该方法适用于已运行的MCMC链，可在不重新运行模拟的情况下实现证据计算。
• 该算法在天体物理学、宇宙学和粒子物理学中具有高度应用价值，适用于涉及复杂高维模型的模型选择任务。