[论文解读] MCMC Using Ensembles of States for Problems with Fast and Slow Variables such as Gaussian Process Regression

Radford M. Neal|arXiv (Cornell University)|Jan 2, 2011

Gaussian Processes and Bayesian Inference参考文献 13被引用 32

一句话总结

本文提出集合MCMC方法，通过在联合空间中更新一组状态，显著提升了具有快变量与慢变量的模型（如高斯过程回归）中的采样效率。该方法在改变快变量（如缩放因子）时利用计算捷径，减少整体计算时间，同时保持细致平衡，显著改善了高维后验推断中的混合与收敛性。

ABSTRACT

I introduce a Markov chain Monte Carlo (MCMC) scheme in which sampling from a distribution with density pi(x) is done using updates operating on an "ensemble" of states. The current state x is first stochastically mapped to an ensemble, x^{(1)},...,x^{(K)}. This ensemble is then updated using MCMC updates that leave invariant a suitable ensemble density, rho(x^{(1)},...,x^{(K)}), defined in terms of pi(x^{(i)}) for i=1,...,K. Finally a single state is stochastically selected from the ensemble after these updates. Such ensemble MCMC updates can be useful when characteristics of pi and the ensemble permit pi(x^{(i)}) for all i in {1,...,K}, to be computed in less than K times the amount of computation time needed to compute pi(x) for a single x. One common situation of this type is when changes to some "fast" variables allow for quick re-computation of the density, whereas changes to other "slow" variables do not. Gaussian process regression models are an example of this sort of problem, with an overall scaling factor for covariances and the noise variance being fast variables. I show that ensemble MCMC for Gaussian process regression models can indeed substantially improve sampling performance. Finally, I discuss other possible applications of ensemble MCMC, and its relationship to the "multiple-try Metropolis" method of Liu, Liang, and Wong and the "multiset sampler" of Leman, Chen, and Lavine.

研究动机与目标

• 解决标准MCMC在同时包含快变量与慢变量的模型中效率低下的问题，其中完整后验更新计算成本高昂。
• 通过使用一组状态来克服传统MCMC的局限性，实现对后验分布更高效的探索。
• 构建一个在集合空间上具有不变分布的框架，使得仅更新快变量时可实现更快的密度评估。
• 证明集合MCMC能够逼近理想化的对快变量进行边际化、同时基于其全条件分布更新慢变量的机制。
• 为集合MCMC在层次化模型（如高斯过程回归）中作为标准MCMC的可扩展替代方案，建立理论与实践基础。

提出的方法

• 将单个状态 $x \in \mathcal{X}$ 随机映射为一组状态 $ (x^{(1)}, \dots, x^{(K)}) \in \mathcal{X}^K $，使用基测度将快变量视为集合成员之间的共享变量。
• 定义集合密度 $ \rho(x^{(1)}, \dots, x^{(K)}) \propto \sum_{i=1}^K \pi(x^{(i)}) $，使得仅更新快变量时可实现高效计算。
• 在集合空间 $ \mathcal{X}^K $ 上执行MCMC更新，使用保持不变集合密度 $ \rho $ 的提议分布。
• 集合更新完成后，从集合中随机选择一个状态返回原始状态空间 $ \mathcal{X} $，确保整体马尔可夫链的目标分布为 $ \pi(x) $。
• 利用计算捷径：当仅快变量（如整体尺度或噪声方差）发生变化时，可在无需完整重评估的情况下，快速重新计算所有集合成员的完整密度 $ \pi(x) $。
• 利用集合高效地对慢变量的后验分布进行近似，通过有效积分快变量，模拟理想化的条件更新。

实验结果

研究问题

• RQ1 能否通过在一组状态而非单个状态上操作，来加速具有快变量与慢变量的模型中的MCMC采样？
• RQ2 在密度评估成本高昂的情况下，集合MCMC在何种条件下相对于标准MCMC具有计算优势？
• RQ3 如何设计集合MCMC，使其在集合成员之间共享快变量的同时，仍能保持细致平衡？
• RQ4 集合MCMC在具有未知超参数的高斯过程回归中，能在多大程度上改善混合与收敛性？
• RQ5 集合MCMC与现有方法（如多尝试Metropolis和多集采样器）之间存在何种关系？

主要发现

• 集合MCMC通过在更新快变量（如缩放因子或噪声方差）时利用计算捷径，在高斯过程回归模型中显著提升了采样性能。
• 该方法通过在共享快变量的集合状态组上实现高效联合更新，相比标准MCMC实现了更好的混合与更快的收敛。
• 当仅快变量发生变化时，所有 $ K $ 个集合成员的密度 $ \pi(x) $ 可在低于 $ K $ 倍单个状态计算成本的时间内完成计算，从而实现显著加速。
• 集合密度 $ \rho $ 定义为各 $ \pi(x^{(i)}) $ 的总和，确保了细致平衡，并使方法能够正确地目标于边际分布 $ \pi(x) $。
• 该方法在理论上等价于Leman、Chen与Lavine（2009）提出的多集采样器，但提供了更系统化的方法来识别计算捷径。
• 当存在计算捷径时，该方法优于标准MCMC——特别是当快变量的改变可实现对集合中所有成员的完整密度的快速重评估时。