[论文解读] An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences

Zhe Feng, Jinglai Li|arXiv (Cornell University)|Aug 13, 2015

Markov Chains and Monte Carlo Methods参考文献 42被引用 4

一句话总结

本文提出了一种用于无限维贝叶斯推断的自适应独立性采样MCMC算法，采用高斯混合提议分布，实现维度无关的收敛性。通过参数化混合成分并利用聚类方法自适应更新，该方法在无需梯度信息的情况下，对多模态后验分布实现了稳健采样，在数值实验中表现出更优的混合性能与效率。

ABSTRACT

Many scientific and engineering problems require to perform Bayesian inferences in function spaces, in which the unknowns are of infinite dimension. In such problems, many standard Markov Chain Monte Carlo (MCMC) algorithms become arbitrary slow under the mesh refinement, which is referred to as being dimension dependent. In this work we develop an independence sampler based MCMC method for the infinite dimensional Bayesian inferences. We represent the proposal distribution as a mixture of a finite number of specially parametrized Gaussian measures. We show that under the chosen parametrization, the resulting MCMC algorithm is dimension independent. We also design an efficient adaptive algorithm to adjust the parameter values of the mixtures from the previous samples. Finally we provide numerical examples to demonstrate the efficiency and robustness of the proposed method, even for problems with multimodal posterior distributions.

研究动机与目标

• 开发一种在无限维贝叶斯推断中实现维度无关的MCMC算法，以解决标准方法在网格细化下变得任意缓慢的问题。
• 设计一种无需似然函数梯度信息的独立性采样器，从而可应用于黑箱正向模型。
• 提升对多模态后验分布的采样效率，此类后验分布对传统MCMC方法构成挑战。
• 通过提议分布的特定参数化，确保算法在函数空间中保持良好定义。

提出的方法

• 提议分布被建模为可分希尔伯特空间中有限个参数化高斯测度的混合。
• 通过利用历史样本的基于聚类的算法，自适应地更新混合成分的参数（均值与协方差）。
• 参数化确保算法在函数空间中保持良好定义，从而保证维度无关性。
• 每500次迭代执行一次自适应更新，并在早期阶段应用退火以加速收敛。
• 采用梅特罗波利斯-黑斯廷斯校正以确保细致平衡并正确采样目标分布。
• 在每次自适应步骤中，采用K均值聚类程序对样本进行分组，并估计最优混合参数。

实验结果

研究问题

• RQ1 能否构建一种在无限维贝叶斯推断中实现维度无关的独立性采样MCMC算法？
• RQ2 如何在不依赖似然函数梯度或海塞矩阵信息的情况下，自适应地更新提议分布？
• RQ3 高斯混合提议能否有效捕捉函数空间中的多模态后验分布？
• RQ4 与单一高斯分布相比，使用高斯混合对采样效率和收敛性有何影响？
• RQ5 如何确定或优化混合的内在维度以获得更优性能？

主要发现

• 所提出的自适应独立性采样器实现了维度无关的收敛性，即在网格细化下混合时间不会恶化。
• 该算法在多模态后验分布上表现出优越性能，通过样本的K均值聚类成功识别出多个模式。
• 在所有测试问题中，自适应IS与混合模型的接受率和有效样本量（ESS）均持续高于基于先验的IS、单高斯IS以及RW-pCN方法。
• 在热通量反演问题中，自适应IS与混合模型正确识别出两个不同的通量模式，而其他方法未能分离这些模式。
• 与标准MCMC方案相比，该方法在轨迹图收敛性、自相关衰减以及ESS方面表现更优，尤其在高维和非高斯设置下。
• 利用聚类进行参数自适应，可在无需显式梯度信息的情况下，有效逼近复杂的后验结构。