[论文解读] Asymptotically Independent Markov Sampling: a new MCMC scheme for Bayesian Inference

James L. Beck, Konstantin M. Zuev|arXiv (Cornell University)|Oct 9, 2011

Markov Chains and Monte Carlo Methods参考文献 24被引用 11

一句话总结

本文提出了一种新型的MCMC方法——渐近独立马尔可夫采样（AIMS），该方法结合重要性采样、MCMC和模拟退火技术，能够高效地从复杂、高维或多重模态的后验分布中进行采样，适用于贝叶斯推断。AIMS在较弱条件下可保证均匀遍历的马尔可夫链，并在数值实验中展现出优越的采样效率，包括多重模态和高维后验分布的情形。

ABSTRACT

In Bayesian statistics, many problems can be expressed as the evaluation of the expectation of a quantity of interest with respect to the posterior distribution. Standard Monte Carlo method is often not applicable because the encountered posterior distributions cannot be sampled directly. In this case, the most popular strategies are the importance sampling method, Markov chain Monte Carlo, and annealing. In this paper, we introduce a new scheme for Bayesian inference, called Asymptotically Independent Markov Sampling (AIMS), which is based on the above methods. We derive important ergodic properties of AIMS. In particular, it is shown that, under certain conditions, the AIMS algorithm produces a uniformly ergodic Markov chain. The choice of the free parameters of the algorithm is discussed and recommendations are provided for this choice, both theoretically and heuristically based. The efficiency of AIMS is demonstrated with three numerical examples, which include both multi-modal and higher-dimensional target posterior distributions.

研究动机与目标

• 解决在贝叶斯推断中从复杂、高维或多重模态后验分布中采样的挑战，其中标准MCMC和重要性采样因混合性能差或方差过高而失效。
• 开发一个统一的框架，将重要性采样、MCMC和模拟退火整合为单一、稳健的采样算法。
• 建立所提算法的理论遍历性质，特别是均匀遍历性，以确保快速收敛和可靠的采样。
• 为选择算法参数（如样本量、有效样本量阈值和提议分布方差）提供实用指导。
• 在真实世界的数值例子中展示算法的高效性，包括多重模态和高维后验分布。

提出的方法

• AIMS 构造一系列中间分布 $\pi_0, \pi_1, \dots, \pi_m$，通过模拟退火从先验 $\pi_0$ 逐步过渡到后验 $\pi_m$。
• 在每个阶段 $j$，使用前一分布 $\pi_{j-1}$ 的 $N$ 个样本，构建 $\pi_j$ 的非参数重要性采样近似 $\hat{\pi}_j^N$。
• 该近似 $\hat{\pi}_j^N$ 被用作独立Metropolis-Hastings算法中的独立提议分布，以生成 $\pi_j$ 的样本。
• 该算法确保渐近独立性：当 $N \to \infty$ 时，提议分布趋近精确，链将生成目标分布的i.i.d.样本。
• 使用有效样本量（ESS）阈值 $\gamma = 1/2$ 来控制有效样本数量，并指导退火过程的调度。
• 在数值实验中，采用提议密度 $q_j(\cdot|\xi) = \mathcal{N}(\cdot|\xi, c^2 \mathbb{I}_7)$，其中 $c = 0.5$，以确保对参数空间的良好探索。

实验结果

研究问题

• RQ1 结合重要性采样、MCMC和模拟退火的混合MCMC方法是否能实现复杂后验分布的均匀遍历采样？
• RQ2 如何优化自由参数（如样本量 $N$、ESS阈值 $\gamma$ 和提议方差）的选择，以同时保证理论上的遍历性和实际的采样效率？
• RQ3 AIMS 在采样高维或多重模态后验分布时是否优于标准MCMC和重要性采样？
• RQ4 AIMS 在何种条件下能产生均匀遍历的马尔可夫链？这些条件与典型的贝叶斯推断问题如何对应？
• RQ5 AIMS 是否能有效处理具有复杂几何结构的后验分布，例如多个模式或强相关性，在高维空间中？

主要发现

• 在较弱的正则性条件下，AIMS 可产生均匀遍历的马尔可夫链，确保快速且稳定的收敛至目标后验分布。
• 在高维和多重模态后验分布中，该算法表现出极高的采样效率，如在具有两个模式的7维非线性回归例子中所展示。
• 在数值实验中，AIMS 成功恢复了真实均值预测函数 $f(x)$，其近似结果的第5和第95百分位数紧密捕捉了真实曲线周围的不确定性。
• 使用 $N = 3 \times 10^3$ 个样本/退火层级和 $\gamma = 1/2$ 时，后验近似稳定且准确，所有10个退火层级均观察到收敛。
• AIMS 的近似 $\bar{\hat{f}}_m(x)$ 与真实函数高度吻合，且中间近似 $\bar{\hat{f}}_j(x)$ 展现出平滑地向目标逼近的进程，表明退火过程有效。
• 该方法对复杂后验结构具有鲁棒性，体现在其在7维空间中成功从具有多个模式和强参数相关性的后验分布中采样。