[论文解读] A Tutorial on Sparse Gaussian Processes and Variational Inference

Felix Leibfried, Vincent Dutordoir+2 more|arXiv (Cornell University)|Dec 27, 2020

Gaussian Processes and Bayesian Inference参考文献 98被引用 12

一句话总结

本教程介绍了稀疏高斯过程（GPs）和变分推断（VI）作为机器学习中贝叶斯推断的可扩展框架。它提出了一种统一方法，通过引入诱导点来近似完整的GP后验分布，同时利用VI联合优化超参数和诱导点，从而实现针对回归、分类以及深度GP架构的高效、具备不确定性感知的建模，并在合成数据和真实世界数据上展示了优异性能。

ABSTRACT

Gaussian processes (GPs) provide a framework for Bayesian inference that can offer principled uncertainty estimates for a large range of problems. For example, if we consider regression problems with Gaussian likelihoods, a GP model enjoys a posterior in closed form. However, identifying the posterior GP scales cubically with the number of training examples and requires to store all examples in memory. In order to overcome these obstacles, sparse GPs have been proposed that approximate the true posterior GP with pseudo-training examples. Importantly, the number of pseudo-training examples is user-defined and enables control over computational and memory complexity. In the general case, sparse GPs do not enjoy closed-form solutions and one has to resort to approximate inference. In this context, a convenient choice for approximate inference is variational inference (VI), where the problem of Bayesian inference is cast as an optimization problem -- namely, to maximize a lower bound of the log marginal likelihood. This paves the way for a powerful and versatile framework, where pseudo-training examples are treated as optimization arguments of the approximate posterior that are jointly identified together with hyperparameters of the generative model (i.e. prior and likelihood). The framework can naturally handle a wide scope of supervised learning problems, ranging from regression with heteroscedastic and non-Gaussian likelihoods to classification problems with discrete labels, but also problems with multidimensional labels. The purpose of this tutorial is to provide access to the basic matter for readers without prior knowledge in both GPs and VI. A proper exposition to the subject enables also access to more recent advances (like importance-weighted VI as well as interdomain, multioutput and deep GPs) that can serve as an inspiration for new research ideas.

研究动机与目标

• 为无相关背景知识的研究人员提供稀疏高斯过程与变分推断的自包含入门介绍。
• 统一处理稀疏GPs与VI，展示其如何在回归与分类任务中实现可扩展的、具备不确定性感知的建模。
• 提出一种灵活的框架，通过变分推断联合优化诱导点与模型超参数。
• 展示该框架在复杂问题中的适用性，包括非高斯似然、多输出以及深度GP模型。
• 为理解与推进近期发展（如加权重要性VI、跨域GPs以及贝叶斯深度学习）奠定基础。

提出的方法

• 使用稀疏GPs通过引入用户定义的诱导点集合来近似完整后验GP，将计算复杂度从O(N³)降低至O(M³)，其中M ≪ N。
• 采用变分推断通过最大化边际似然的下界（ELBO）来近似难以计算的后验分布。
• 将诱导点与模型超参数视为需在训练过程中联合优化的变分参数。
• 应用证据下界（ELBO）处理非共轭似然，如用于分类的伯努利分布和用于回归的异方差高斯分布。
• 将框架扩展至潜变量VI，通过辅助潜变量对复杂数据进行建模，并利用神经网络实现推理的摊销化。
• 引入加权重要性变分推断与潜变量扩展，以提升后验近似的质量与泛化能力。

实验结果

研究问题

• RQ1 如何利用稀疏高斯过程在保持不确定性量化的同时，将GP推断扩展至大规模数据集？
• RQ2 变分推断在稀疏GP模型后验近似中扮演什么角色？它如何实现诱导点与超参数的联合优化？
• RQ3 如何将潜变量变分推断与稀疏GPs结合，以对复杂、分层或非高斯数据进行建模？
• RQ4 加权重要性变分推断在提升稀疏GP模型后验近似质量方面有何优势？
• RQ5 不同稀疏GP架构（浅层、深层、多输出、跨域）在合成与真实世界任务中的性能表现如何比较？

主要发现

• 通过将训练点数从N减少至M（M通常远小于N），稀疏GPs实现了显著的计算效率提升，从而实现对大规模数据集的可扩展性。
• 变分推断框架允许联合优化诱导点与超参数，从而提升后验近似质量与预测性能。
• 加权重要性变分推断提升了ELBO的质量，并相较于标准VI提供了更优的不确定性估计。
• 潜变量稀疏GP模型可通过引入辅助潜变量，有效捕捉复杂数据结构，如深度生成模型中的结构。
• 该框架可自然推广至多输出、跨域及深度GP模型，实现多样化监督学习任务中的不确定性感知学习。
• 在合成数据上的实证结果表明，所提模型（尤其是采用加权重要性VI的模型）在预测准确率与不确定性校准方面均优于标准稀疏GP基线模型。