[论文解读] Bayesian Inference for Gaussian Process Classifiers with Annealing and Exact-Approximate MCMC

Maurizio Filippone|arXiv (Cornell University)|Nov 28, 2013

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出在伪边缘MCMC中使用退火重要性采样（AIS），以改进高斯过程分类器的贝叶斯推断，使边际似然估计的方差随数据规模呈指数级降低，同时保持多项式计算成本。该方法相比标准重要性采样，能实现更精确且自动化的核参数估计不确定性量化。

ABSTRACT

Kernel methods have revolutionized the fields of pattern recognition and machine learning. Their success, however, critically depends on the choice of kernel parameters. Using Gaussian process (GP) classification as a working example, this paper focuses on Bayesian inference of covariance (kernel) parameters using Markov chain Monte Carlo (MCMC) methods. The motivation is that, compared to standard optimization of kernel parameters, they have been systematically demonstrated to be superior in quantifying uncertainty in predictions. Recently, the Pseudo-Marginal MCMC approach has been proposed as a practical inference tool for GP models. In particular, it amounts in replacing the analytically intractable marginal likelihood by an unbiased estimate obtainable by approximate methods and importance sampling. After discussing the potential drawbacks in employing importance sampling, this paper proposes the application of annealed importance sampling. The results empirically demonstrate that compared to importance sampling, annealed importance sampling can reduce the variance of the estimate of the marginal likelihood exponentially in the number of data at a computational cost that scales only polynomially. The results on real data demonstrate that employing annealed importance sampling in the Pseudo-Marginal MCMC approach represents a step forward in the development of fully automated exact inference engines for GP models.

研究动机与目标

• 通过降低边际似然估计的方差，改进高斯过程分类器中核参数的贝叶斯推断。
• 解决标准重要性采样在伪边缘MCMC中用于GP模型时的局限性。
• 开发一种可扩展且精确的推断框架，相较于基于优化的方法，能更可靠地量化核参数的不确定性。
• 在真实数据应用中展示退火重要性采样相较于标准重要性采样的实际优势。

提出的方法

• 本文采用伪边缘MCMC，通过重要性采样获得无偏估计来替代不可计算的边际似然。
• 引入退火重要性采样（AIS）作为标准重要性采样的替代方案，以降低边际似然估计的方差。
• AIS在简单提议分布与目标后验之间构建一系列中间分布，提升采样效率。
• 该方法使用一条逐渐增加目标密度的分布路径，从而实现对边际似然更准确且稳定的估计。
• AIS的计算成本随数据规模呈多项式增长，而方差降低则随数据点数量呈指数级。
• 该方法被整合进高斯过程分类器的完整贝叶斯推断流程中，实现自动化且精确的推断。

实验结果

研究问题

• RQ1 退火重要性采样是否能比标准重要性采样更有效地降低高斯过程分类中边际似然估计的方差？
• RQ2 所提出的方法在实现数据点数量指数级方差降低的同时，是否仍保持计算可行性？
• RQ3 基于AIS的伪边缘MCMC在量化核参数不确定性方面，与标准优化方法相比表现如何？
• RQ4 该方法能否在真实世界数据集上实际应用，并实现可靠的不确定性估计？

主要发现

• 退火重要性采样使边际似然估计的方差随数据点数量呈指数级降低，显著提升了估计精度。
• 基于AIS的方法计算成本随数据规模呈多项式增长，使其适用于更大规模数据集。
• 与标准重要性采样相比，AIS在伪边缘MCMC中为高斯过程分类器提供了更稳定、更可靠的后验估计。
• 在真实数据上的实证结果表明，所提方法能实现更稳健且自动化的贝叶斯推断，并具备更优的不确定性量化能力。