[论文解读] Target Density Normalization for Markov Chain Monte Carlo Algorithms

A. Caldwell, Chang Liu|arXiv (Cornell University)|Oct 27, 2014

Statistical Methods and Inference参考文献 10被引用 5

一句话总结

本文提出了一种马尔可夫链蒙特卡洛（MCMC）算法的后处理方法，通过将积分限制在围绕MCMC估计的众数的缩减支持区域，来估计目标密度的归一化积分。在该区域内使用少量MCMC样本进行算术平均估计，实现了准确且可靠的不确定性估计，在复杂、高维情况下优于调和平均法和拉普拉斯方法。

ABSTRACT

Techniques for evaluating the normalization integral of the target density for Markov Chain Monte Carlo algorithms are described and tested numerically. It is assumed that the Markov Chain algorithm has converged to the target distribution and produced a set of samples from the density. These are used to evaluate sample mean, harmonic mean and Laplace algorithms for the calculation of the integral of the target density. A clear preference for the sample mean algorithm applied to a reduced support region is found, and guidelines are given for implementation.

研究动机与目标

• 解决在高维空间中计算目标密度归一化积分的挑战，标准方法在此类情况下会失效。
• 提供一种后MCMC技术，无需修改采样过程即可估计证据（边缘似然）。
• 与现有方法（如调和平均法和拉普拉斯近似）相比，提高归一化积分估计的可靠性和准确性。
• 提供一种实用且可实现的方法，利用MCMC输出定义缩减积分区域，并通过重缩放估计完整积分。

提出的方法

• 使用MCMC样本估计目标密度的全局众数和边际标准差。
• 以众数为中心定义一个超立方体，其边长与各维度上的标准差成比例，使用缩放因子Δ。
• 估计落入该缩减区域的MCMC样本比例（r̂），以近似相对体积质量。
• 对缩减区域内应用算术平均估计（AME）以计算目标密度的积分。
• 将缩减区域的积分结果除以r̂，以估计在整个支持区域上的完整归一化积分。
• 使用收敛后的MCMC样本进行调和平均估计（HME）和拉普拉斯近似作为对比基准。

实验结果

研究问题

• RQ1 是否能够仅通过样本及其经验统计量，利用后MCMC方法可靠地估计目标密度的归一化积分？
• RQ2 将积分限制在围绕众数的缩减支持区域，如何影响归一化积分估计的准确性和不确定性？
• RQ3 在缩减区域内应用算术平均、调和平均和拉普拉斯估计器时，三者在性能上如何比较？
• RQ4 算术平均方法估计的不确定性是否能可靠地反映归一化积分的真实误差？
• RQ5 在准确性和计算成本之间取得平衡时，缩减积分区域的最优尺寸（以Δ表示）是什么？

主要发现

• 在MCMC估计的众数为中心的缩减超立方体内使用算术平均估计，可提供准确且可靠的归一化积分估计，并具有校准良好的不确定性。
• 调和平均估计器在高维或非高斯目标密度下表现极差，产生较大的偏差和不可靠的不确定性估计，如50维环形示例中出现23.251的分数误差。
• 拉普拉斯近似仅在目标密度近似为高斯分布时有效，在多峰或偏态分布中会失效。
• 当将缩减区域大小设置为约50%的MCMC样本落入其中（即r̂ = 0.5）时，可在所有测试案例中实现接近最优的性能。
• 在10维环形示例中，使用10⁶个MCMC样本，算术平均估计器实现了0.005的分数误差和0.004的分数不确定性，表明其具有高精度。
• 该方法在不同维度和目标形状下均表现稳健，包括高维高斯分布和环形分布，为贝叶斯推断中的证据估计提供了一种实用且通用的解决方案。