[论文解读] MCMC for Variationally Sparse Gaussian Processes

James Hensman, Alexander Matthews+2 more|Graduate School and Research Center in Digital Science (EURECOM)|Jun 12, 2015

Gaussian Processes and Bayesian Inference参考文献 34被引用 55

一句话总结

本文提出了一种用于高斯过程的混合马尔可夫链蒙特卡洛（HMC）推理方案，结合变分诱导点与非高斯后验近似，实现了高效、可扩展的贝叶斯推理。该方法在远少于数据量的诱导点数量下，实现了对函数值和超参数的近乎精确的后验估计，在MNIST等真实数据集和合成问题上，其精度和不确定性校准均优于高斯近似方法。

ABSTRACT

Gaussian process (GP) models form a core part of probabilistic machine learning. Considerable research effort has been made into attacking three issues with GP models: how to compute efficiently when the number of data is large; how to approximate the posterior when the likelihood is not Gaussian and how to estimate covariance function parameter posteriors. This paper simultaneously addresses these, using a variational approximation to the posterior which is sparse in support of the function but otherwise free-form. The result is a Hybrid Monte-Carlo sampling scheme which allows for a non-Gaussian approximation over the function values and covariance parameters simultaneously, with efficient computations based on inducing-point sparse GPs. Code to replicate each experiment in this paper will be available shortly.

研究动机与目标

• 解决大规模数据集下高斯过程精确贝叶斯推理的计算不可行性。
• 克服现有变分方法中假设后验为高斯分布且对超参数使用点估计的局限性。
• 实现对函数值和协方差函数超参数的联合、非高斯后验近似。
• 开发一种可扩展的推理框架，在通过稀疏诱导点近似降低计算成本的同时保持高精度。
• 证明MCMC在大规模GP模型中的可行性和有效性，挑战MCMC因速度过慢而难以实用化的固有观念。

提出的方法

• 采用变分诱导点框架近似GP后验，降低协方差矩阵求逆的计算成本。
• 对诱导变量和超参数使用自由形式的变分后验，避免对高斯分布的严格假设。
• 实施混合蒙特卡洛（HMC）采样方案，联合探索诱导变量和超参数的后验分布。
• 利用稀疏GP结构高效计算完整后验期望，避免全协方差矩阵运算。
• 将HMC采样器与自适应调整步长和轨迹长度相结合，以提升混合效率和收敛性。
• 利用所得样本估计预测分布和超参数后验，实现更优的不确定性量化。

实验结果

研究问题

• RQ1 能否通过稀疏诱导点近似，使MCMC采样在大规模高斯过程模型中具备计算可行性？
• RQ2 对函数值和超参数均采用非高斯后验近似，是否能比标准高斯变分近似提供更优的不确定性量化？
• RQ3 在GP模型中，实现近乎精确的贝叶斯推理需要多少个诱导点？与数据集规模相比如何？
• RQ4 所提出的HMC方案在真实世界基准测试中，是否能在预测精度和对数似然方面优于现有变分GP方法？
• RQ5 在分类任务中，诱导点位置在多大程度上会向决策边界自适应调整？这对模型性能有何影响？

主要发现

• 所提出的基于HMC的推理方案在MNIST数据集上实现了测试对数密度-0.064，优于仅使用变分近似时的-0.068。
• 在MNIST上，该模型达到了98.04%的准确率，显著优于同一基准上以往基于GP的方法。
• 所需诱导点数量远小于数据集规模，MNIST（70,000张图像）仅需500个诱导点即足够。
• 自由形式后验近似捕捉到了多分类问题中的强相关性和非线性决策边界，而高斯近似则更为保守。
• HMC与Gibbs采样器效率相当，HMC在各实验中有效样本量（ESS）为1.9–5.1，TN-ESS为2.8×10⁻³至3.8×10⁻⁴。
• 在优化过程中，诱导点向决策边界移动，表明其能更优地表征分类任务中复杂、非线性的决策面。