[论文解读] Inference for Trans-dimensional Bayesian Models with Diffusive Nested Sampling

Brendon J. Brewer|arXiv (Cornell University)|Nov 14, 2014

Bayesian Methods and Mixture Models参考文献 2被引用 8

一句话总结

本文提出扩散嵌套采样（Diffusive Nested Sampling, DNS），一种横跨维度的贝叶斯推断方法，结合横跨维度的马尔可夫链蒙特卡洛（MCMC）与嵌套采样，能够高效探索具有多模态性、相变现象以及未知模型维度的复杂后验分布。该方法可实现对模型边际似然的稳健估计，并在不同分量数量下进行后验推断，已在正弦信号检测和从噪声天文图像中提取星系源的任务中成功验证。

ABSTRACT

Many inference problems involve inferring the number $N$ of components in some region, along with their properties $\{\mathbf{x}_i\}_{i=1}^N$, from a dataset $\mathcal{D}$. A common statistical example is finite mixture modelling. In the Bayesian framework, these problems are typically solved using one of the following two methods: i) by executing a Monte Carlo algorithm (such as Nested Sampling) once for each possible value of $N$, and calculating the marginal likelihood or evidence as a function of $N$; or ii) by doing a single run that allows the model dimension $N$ to change (such as Markov Chain Monte Carlo with birth/death moves), and obtaining the posterior for $N$ directly. In this paper we present a general approach to this problem that uses trans-dimensional MCMC embedded within a Nested Sampling algorithm, allowing us to explore the posterior distribution and calculate the marginal likelihood (summed over $N$) even if the problem contains a phase transition or other difficult features such as multimodality. We present two example problems, finding sinusoidal signals in noisy data, and finding and measuring galaxies in a noisy astronomical image. Both of the examples demonstrate phase transitions in the relationship between the likelihood and the cumulative prior mass, highlighting the need for Nested Sampling.

研究动机与目标

• 解决模型中分量数量未知、横跨维度的贝叶斯推断挑战，例如有限混合模型或噪声数据中的源检测问题。
• 克服由于后验分布中存在多模态性、强参数依赖性及相变现象而导致的MCMC混合困难问题。
• 提供一个统一框架，同时计算边际似然（证据）和模型维度$N$及分量参数的后验分布。
• 通过将横跨维度的MCMC嵌入嵌套采样框架，实现在高维、横跨维度模型中的高效计算。

提出的方法

• 该方法使用横跨维度的MCMC移动（如出生/死亡）来探索分量数量$N$可变的模型，同时将这些移动嵌入嵌套采样算法中。
• 采用嵌套采样从一系列受限先验分布中进行采样，逐步限制似然值至$L \geq L_i$，从而改善不同模态和相变之间的混合性能。
• 该算法维护一组“活跃点”（live points），在参数空间中演化，每次迭代通过提出增加或删除分量来更新模型。
• 关键优化技术通过缓存旧模型与新模型之间的差异，实现通过修改模拟信号而非从头计算来高效更新似然值。
• 边际似然$\mathcal{Z}$通过在每次迭代中对似然值与先验体积乘积的累加进行估计，从而提供稳健的证据估计。
• 通过嵌套采样过程中生成的加权样本，推断$N$和分量参数$\mathbf{x}_i$的后验分布。

实验结果

研究问题

• RQ1 当后验分布表现出相变、多模态性或强参数依赖性时，如何实现高效的横跨维度贝叶斯推断？
• RQ2 横跨维度的MCMC能否有效嵌入嵌套采样中，以改善高维、模型维度未知问题中的混合与收敛性能？
• RQ3 所提出方法在估计未知分量数量问题中的边际似然$\mathcal{Z}$及$N$的后验分布方面表现如何？
• RQ4 当应用于具有噪声数据和微弱源的现实天文推断问题时，该方法在计算成本方面如何扩展？

主要发现

• 该方法成功处理了正弦信号和星系图像问题中的相变现象，其中后验分布会在仅拟合明亮分量与包含微弱分量之间发生转移。
• 在星系图像问题中，DNS估计的边际似然为$\log(\mathcal{Z}) = -319707.6$纳特，从先验到后验的Kullback-Leibler散度为550.2纳特。
• 真实星系数量为$N = 47$，DNS在存在噪声和接近噪声底限的微弱源情况下，以高后验置信度正确推断出该值。
• 通过重用并更新模拟信号而非从头计算，计算优化在两个示例问题中均实现了约2倍的加速。
• 在标准台式计算机上，正弦信号问题的推理在几分钟内完成收敛并实现准确推断，星系图像问题则耗时约一天。
• DNS在混合与收敛方面优于标准横跨维度MCMC，尤其在几何或拓扑结构复杂（如相变区域）的区域表现更优。