[论文解读] Nested Sampling Methods

Johannes Büchner|arXiv (Cornell University)|Jan 24, 2021

Statistical Methods and Bayesian Inference被引用 21

一句话总结

本文对贝叶斯推断中的嵌套采样（Nested Sampling, NS）方法进行了全面综述，并提出了新的公式化方法，将参数空间探索建模为树状结构搜索，统一了现有算法。提出了一种基于插入顺序的新型在线诊断测试，并系统分析了计算成本随活跃点数和维度的变化规律，为复杂、多峰、高维问题提供了稳健实现的实用指导。

ABSTRACT

Nested sampling (NS) computes parameter posterior distributions and makes Bayesian model comparison computationally feasible. Its strengths are the unsupervised navigation of complex, potentially multi-modal posteriors until a well-defined termination point. A systematic literature review of nested sampling algorithms and variants is presented. We focus on complete algorithms, including solutions to likelihood-restricted prior sampling, parallelisation, termination and diagnostics. The relation between number of live points, dimensionality and computational cost is studied for two complete algorithms. A new formulation of NS is presented, which casts the parameter space exploration as a search on a tree data structure. Previously published ways of obtaining robust error estimates and dynamic variations of the number of live points are presented as special cases of this formulation. A new online diagnostic test is presented based on previous insertion rank order work. The survey of nested sampling methods concludes with outlooks for future research.

研究动机与目标

• 提供嵌套采样算法及其变体的系统性综述，重点关注具备稳健诊断能力的完整实现。
• 解决贝叶斯模型比较中的挑战，特别是在高维、多峰或非椭球形后验分布空间中。
• 通过统一的算法框架提升可能性限制先验采样（Likelihood-Restricted Prior Sampling, LRPS）的可靠性与效率。
• 分析计算成本随活跃点数和维度变化的扩展规律，为算法配置提供实用指导。
• 提出一种基于插入顺序的新型在线诊断测试，用于运行时评估嵌套采样收敛性与准确性。

提出的方法

• 将嵌套采样重新表述为对参数空间的基于树的搜索，统一了现有方法的单一概念框架。
• 提出一种基于活跃点插入顺序的新型在线诊断测试，实现采样质量的实时评估。
• 提出一种通用方法，通过单位超立方体变换和对 copula 模型的编码，实现复杂先验（如相关高斯分布、狄利克雷分布）的表达。
• 分析椭球拒绝采样在 LRPS 中的效率，推导出接受率的经验扩展规律。
• 利用自助法和拒绝采样，估计在高维空间中实现可靠采样的椭球放大因子。
• 通过数值实验验证计算成本随活跃点数和维度变化的扩展行为。

实验结果

研究问题

• RQ1 如何在单一算法框架下系统性统一嵌套采样，以支持多样化的采样策略？
• RQ2 在嵌套采样中，活跃点数量、维度与计算成本之间的关系是什么？
• RQ3 如何在嵌套采样中实现稳健的误差估计与收敛性诊断，尤其是在实时场景下？
• RQ4 在不同维度和活跃点数量下，椭球采样在可能性限制先验采样中的效率如何？
• RQ5 如何在嵌套采样框架内高效编码复杂、非独立同分布的先验（如相关、狄利克雷分布）？

主要发现

• 椭球拒绝采样的接受率随维度增加而下降，且对活跃点数量高度敏感，其扩展规律近似为 α ≈ (1.07 − log d^{1/3}) × exp{−(6.83 × d^{1.9}/N)^{3/4}}。
• 当维度加倍时，仅当活跃点数量增加五倍，才能维持 50% 的接受率，凸显了自适应分配活跃点的必要性。
• 基于插入顺序的新型在线诊断方法提供了可靠且实时的采样质量度量，可检测过早终止或探索不足。
• 基于树的嵌套采样公式统一了现有方法，包括动态活跃点调整和稳健误差估计，均可作为特例。
• 通过单位超立方体变换和逆累积分布函数方法，可高效编码多变量正态分布和狄利克雷分布等复杂先验。
• 嵌套采样的计算成本与接受率成反比，因此也与活跃点数量和维度成反比，成本为 C_ell = 1/α。