[论文解读] Slice sampling covariance hyperparameters of latent Gaussian models

Iain Murray, Ryan P. Adams|arXiv (Cornell University)|Jun 4, 2010

Gaussian Processes and Bayesian Inference参考文献 17被引用 117

一句话总结

本文提出了一种用于潜高斯模型中超参数推断的切片采样方法，特别适用于具有非高斯似然的高斯过程。通过利用一种新颖的代理数据表示和事后位置重参数化，该方法实现了稳健、无需调优的MCMC采样，显著改善了强数据和弱数据情形下的混合性能，优于标准的Metropolis-Hastings方法和现有的切片采样器。

ABSTRACT

The Gaussian process (GP) is a popular way to specify dependencies between random variables in a probabilistic model. In the Bayesian framework the covariance structure can be specified using unknown hyperparameters. Integrating over these hyperparameters considers different possible explanations for the data when making predictions. This integration is often performed using Markov chain Monte Carlo (MCMC) sampling. However, with non-Gaussian observations standard hyperparameter sampling approaches require careful tuning and may converge slowly. In this paper we present a slice sampling approach that requires little tuning while mixing well in both strong- and weak-data regimes.

研究动机与目标

• 解决潜高斯模型中非高斯似然下MCMC超参数推断存在的混合缓慢和调优敏感性问题。
• 开发一种通用、稳健的协方差超参数采样方法，几乎无需调优。
• 在强数据和弱数据情形下改善后验探索性能，而标准方法在此时常失效。
• 为具有复杂似然的高斯过程模型提供一种实用、即插即用的贝叶斯推断解决方案。
• 证明简单的重参数化方法（如对先验进行白化）可优于标准的条件更新策略。

提出的方法

• 通过引入一种代理数据模型，重新参数化似然函数，提出一种针对超参数θ的切片采样方法，以实现高效采样。
• 采用一种事后位置重参数化，将条件后验P(θ|f)转换为适合切片采样的形式，且几乎无需调优。
• 采用一种稳健的表示方法，适用于广泛的协方差结构和似然函数，无需针对具体问题进行推导。
• 将代理数据方法与切片采样相结合，以保持细致平衡并确保收敛到正确的后验分布。
• 将该方法应用于高斯和非高斯似然，包括具有非齐次泊松观测的Cox过程模型。
• 采用一种将潜变量f与超参数θ解耦的重参数化方法，通过降低后验依赖性来改善混合性能。

实验结果

研究问题

• RQ1 能否使切片采样在潜高斯模型中非高斯似然的超参数推断下变得稳健且无需调优？
• RQ2 在强数据和弱数据情形下，所提出的切片采样器与标准Metropolis-Hastings方法及现有切片采样器相比，性能如何？
• RQ3 与直接的条件更新相比，代理数据和事后位置重参数化在多大程度上改善了MCMC混合性能？
• RQ4 所提出的方法在包括泊松和二值结果在内的多样化似然模型中是否保持高效？
• RQ5 在实践中，简单的重参数化方法（如对先验进行白化）是否能优于标准的条件更新方案？

主要发现

• 所提出的结合代理数据与事后位置重参数化的切片采样方法，在混合性能上显著优于标准Metropolis-Hastings方法和现有切片采样器，尤其在弱数据情形下表现突出。
• 在Ionosphere分类任务中，surr-site方法显著优于基线方法，有效样本量最高达2–3倍。
• 在矿难数据集中，所有提出的方法表现良好，但surr-site和surr-taylor因对零计数桶的更好处理而表现更优。
• 在具有高稀疏性（大量零计数桶）的红木树数据集上，surr-taylor优于post-taylor和prior-white，表明近似站点后验的优势。
• 事后位置和surr-site方法被发现比prior-white和基线方法更具鲁棒性，尤其在非高斯设置下。
• 即使简单的重参数化方法（如对先验进行白化）也显著改善了混合性能，表明在实践中应优先考虑此类方法。