[论文解读] Contemplating Evidence: properties, extensions of, and alternatives to Nested Sampling

Nicolás Chopin, Christian P. Robert|arXiv (Cornell University)|Jan 25, 2008

Statistical Methods and Bayesian Inference被引用 13

一句话总结

本文证明了嵌套采样在渐近正态误差下达到蒙特卡洛误差率 N⁻¹/²，且渐近方差随维度线性增长。本文提出了一种无需MCMC的扩展方法，并将嵌套采样与两种基于后验分布的边际似然计算方法进行了比较，展示了其在高维及混合模型设置下的高效性。

ABSTRACT

Nested sampling is a novel simulation method for approximating marginal likelihoods, proposed by Skilling (2007a,b). We establish that nested sampling leads to an error that vanishes at the standard Monte Carlo rate N −1/2, where N is a tuning parameter that is proportional to the computational effort, and that this error is asymptotically Gaussian. We show that the corresponding asymptotic variance typically grows linearly with the dimension of the parameter. We use these results to discuss the applicability and efficiency of nested sampling in realistic problems, including posterior distributions for mixtures. We propose an extension of nested sampling that makes it possible to avoid resorting to MCMC to obtain the simulated points. We study two alternative methods for computing marginal likelihood, which, in contrast with nested sampling, are based on draws from the posterior distribution and we conduct a comparison with nested sampling on several realistic examples.

研究动机与目标

• 分析嵌套采样的渐近误差行为，确立其收敛速率与分布。
• 研究嵌套采样渐近方差随参数维度的缩放规律。
• 开发一种避免使用MCMC生成样本的嵌套采样扩展方法。
• 将嵌套采样与两种基于后验抽样方法的边际似然计算方法进行比较。
• 评估嵌套采样在真实高维问题（如混合模型）中的实际效率与适用性。

提出的方法

• 作者推导了嵌套采样估计量的渐近分布，表明其以速率 N⁻¹/² 收敛至正态分布。
• 他们计算了估计量的渐近方差，并证明其随参数空间维度线性增长。
• 提出了一种扩展方法，用确定性或替代采样机制取代MCMC以生成存活点。
• 引入了两种基于后验抽样而非嵌套采样的边际似然计算替代方法。
• 在包含混合分布在内的实际统计模型上，对嵌套采样及两种替代方法的性能进行了经验比较。
• 通过基准问题的模拟验证了理论结果，以评估有限样本下的行为与效率。

实验结果

研究问题

• RQ1 嵌套采样估计量的渐近误差率与分布是什么？
• RQ2 嵌套采样渐近方差随参数维度增加如何变化？
• RQ3 能否对嵌套采样进行修改以消除对MCMC生成存活点的依赖？
• RQ4 基于后验分布的替代方法在边际似然估计的准确性与效率方面与嵌套采样相比如何？
• RQ5 在高维及复杂模型（如混合模型）中，嵌套采样及其替代方法的实际表现如何？

主要发现

• 嵌套采样实现了标准蒙特卡洛误差率 N⁻¹/²，其中 N 与计算量成正比。
• 嵌套采样的渐近误差分布为高斯分布，支持统计推断与不确定性量化。
• 估计量的渐近方差随参数空间维度线性增加，表明在高维情况下可能存在局限性。
• 所提出的嵌套采样扩展方法可在无需MCMC的情况下生成存活点，提升了计算效率并降低了对马氏链收敛的依赖。
• 经验比较表明，两种基于后验分布的替代方法在MCMC效率低下或混合缓慢的场景下可能具有竞争力。
• 在混合模型及高维问题中，嵌套采样依然有效，但其性能对维度与先验选择较为敏感。