[论文解读] DNest4: Diffusive Nested Sampling in C++ and Python

Brendon J. Brewer, Daniel Foreman-Mackey|arXiv (Cornell University)|Jun 12, 2016

Bayesian Methods and Mixture Models参考文献 24被引用 8

一句话总结

DNest4 是一种开源的、支持多线程的 C++11 和 Python 实现，用于扩散嵌套采样（Diffusive Nested Sampling）算法，旨在高效地进行贝叶斯推断、边缘似然估计以及在复杂、多峰或高维问题中的后验抽样。它通过使用约束先验的混合形式与自适应 MCMC 移动策略，提升了采样效率，从而实现通过证据估计进行稳健的模型比较。

ABSTRACT

In probabilistic (Bayesian) inferences, we typically want to compute properties of the posterior distribution, describing knowledge of unknown quantities in the context of a particular dataset and the assumed prior information. The marginal likelihood, also known as the "evidence", is a key quantity in Bayesian model selection. The Diffusive Nested Sampling algorithm, a variant of Nested Sampling, is a powerful tool for generating posterior samples and estimating marginal likelihoods. It is effective at solving complex problems including many where the posterior distribution is multimodal or has strong dependencies between variables. DNest4 is an open source (MIT licensed), multi-threaded implementation of this algorithm in C++11, along with associated utilities including: i) RJObject, a class template for finite mixture models, (ii) A Python package allowing basic use without C++ coding, and iii) Experimental support for models implemented in Julia. In this paper we demonstrate DNest4 usage through examples including simple Bayesian data analysis, finite mixture models, and Approximate Bayesian Computation.

研究动机与目标

• 为贝叶斯推断提供一种可扩展、高效且易于访问的扩散嵌套采样（DNS）实现。
• 解决标准 MCMC 在多峰后验分布和强参数依赖性问题中失效的挑战。
• 通过精确的边缘似然（证据）估计支持模型选择。
• 通过无缝集成 Python 和 C++，支持灵活的模型定义与高性能计算。
• 扩展支持近似贝叶斯计算（ABC）以及 Julia 等混合语言，以提升科学应用的广泛适用性。

提出的方法

• 使用约束先验的混合形式表示后验分布，其中每个分量对应一个似然阈值水平。
• 采用改进的 Metropolis-Hastings MCMC 算法，结合自适应提议分布，以高效探索参数空间。
• 引入两阶段抽样过程：首先，粒子以指数增长的权重初始化，以优先关注高似然区域；其次，权重被调整为均匀分布，以实现稳定的证据估计。
• 实施动态层级选择策略，其中似然阈值按几何级数递增，每轮迭代将先验质量压缩约 e−1/N 的因子。
• 同时支持 C++ 和 Python 接口，Python 绑定允许通过 NumPy 数组和动态函数调用定义模型。
• 包含实验性 Julia 支持及工具（如 RJObject）用于有限混合模型，增强可扩展性。

实验结果

研究问题

• RQ1 如何在 C++11 和 Python 中高效实现扩散嵌套采样（DNS），以处理复杂、多峰的后验分布？
• RQ2 在高维或强相关参数空间中，DNS 相较于标准嵌套采样和 MCMC 在性能与精度方面有何优势？
• RQ3 DNS 是否能有效应用于近似贝叶斯计算（ABC），尤其是在似然函数存在噪声或不可计算的情况下？
• RQ4 与直接后验抽样相比，使用约束先验的混合形式在提升采样效率与证据估计方面有何改进？
• RQ5 DNest4 在多大程度上可扩展以支持其他语言（如 Julia）编写的模型？

主要发现

• DNest4 在标准 MCMC 方法失效的多峰和高维问题中，仍能以高精度估计边缘似然。
• 该算法在多种模型中实现了稳定且高效的后验抽样，包括有限混合模型和 ABC 应用。
• 在 ABC 示例中，μ 和 σ 的后验样本集中于真实值附近（μ = 0，σ = 1），证实了推断的准确性。
• Python 接口允许无需 C++ 编译即可完整定义模型，支持快速原型设计并无缝集成至数据科学工作流。
• 在约束先验框架内使用自适应 MCMC 显著提升了复杂后验分布中的混合效率与收敛速度。
• 该实现支持多线程计算，并提供强大的后处理工具，包括证据估计与后验可视化。