[论文解读] Elliptical slice sampling

Iain Murray, Ryan P. Adams+1 more|arXiv (Cornell University)|Dec 31, 2009

Gaussian Processes and Bayesian Inference参考文献 9被引用 315

一句话总结

本文提出了一种新型的马尔可夫链蒙特卡洛方法——椭圆切片采样，用于在具有多变量高斯先验的模型中从后验分布中进行采样。该方法利用椭圆的几何特性，通过将提议机制重新表述为在椭圆上的切片采样过程，实现了高效且无需调参的采样，其性能与经过调优的梅特罗波利斯-黑斯廷斯方法相当，且无需手动调节步长。

ABSTRACT

Many probabilistic models introduce strong dependencies between variables using a latent multivariate Gaussian distribution or a Gaussian process. We present a new Markov chain Monte Carlo algorithm for performing inference in models with multivariate Gaussian priors. Its key properties are: 1) it has simple, generic code applicable to many models, 2) it has no free parameters, 3) it works well for a variety of Gaussian process based models. These properties make our method ideal for use while model building, removing the need to spend time deriving and tuning updates for more complex algorithms.

研究动机与目标

• 开发一种适用于具有多变量高斯先验的模型的通用、鲁棒的MCMC算法，且无需手动调参。
• 解决由于潜在变量之间存在强依赖关系而导致的吉布斯采样混合性差的问题。
• 在保持或提升采样效率的同时，消除MCMC采样中的自由参数。
• 为基于高斯过程的模型中现有的吉布斯或梅特罗波利斯-黑斯廷斯采样器提供即插即用的替代方案。

提出的方法

• 该方法将提议分布表述为基于当前状态和从先验分布中抽取的辅助样本所定义的椭圆上的移动。
• 利用切片采样原理，自动适应椭圆上的步长，确保细致平衡性和正确的平稳分布。
• 通过保持可接受状态的区间并迭代缩小该区间，从椭圆上的条件分布中进行采样。
• 引入一种重参数化方法，使标准切片采样技术可应用于椭圆上，避免了可逆性和正确性方面的问题。
• 通过将椭圆参数化视为扩展模型中的隐变量，避免了显式的步长参数。
• 引入控制变量以改善低维问题中的混合性，从而在高相关性场景下提升性能。

实验结果

研究问题

• RQ1 能否为具有多变量高斯先验的模型设计一种无参MCMC方法，使其性能与调优后的梅特罗波利斯-黑斯廷斯方法相当或更优？
• RQ2 如何利用高斯先验的几何特性，构建比标准吉布斯或梅特罗波利斯-黑斯廷斯方法更高效、更鲁棒的采样机制？
• RQ3 切片采样原理能否被适配用于椭圆流形上，同时保持马尔可夫链的细致平衡性和正确性？
• RQ4 在高斯过程模型中，使用椭圆切片采样与传统MCMC方法相比，计算成本与采样效率之间的权衡如何？
• RQ5 该方法在高维设置下的可扩展性如何？在何种场景下其性能优于基于控制变量的方法？

主要发现

• 在真实世界数据（如矿难数据和USPS数字分类问题）上，椭圆切片采样比调优后的梅特罗波利斯-黑斯廷斯方法获得了更高的单位时间有效样本数。
• 在合成的低维回归问题中，控制变量采样优于所有方法（包括椭圆切片采样），但其计算成本更高。
• 在高维设置下，控制变量采样未能收敛，而椭圆切片采样保持稳定且高效。
• 该方法无需自由参数，在有效样本数方面优于经过最优步长调优的标准梅特罗波利斯-黑斯廷斯方法，尽管其运行时间更长。
• 与基于线性路径的切片采样相比，椭圆切片采样的有效样本率始终更高，表明其混合性更优。
• 该算法在多种基于高斯过程的模型中表现出鲁棒性，包括回归、分类和时间序列问题，且实现工作量极小。