[论文解读] Gaussian Processes for Big Data

James Hensman, Nicolò Fusi+1 more|arXiv (Cornell University)|Sep 26, 2013

Gaussian Processes and Bayesian Inference参考文献 16被引用 453

一句话总结

本文提出了一种高斯过程的随机变分推断方法，通过使用诱导变量对模型进行分解，实现了在大规模数据上的可扩展推断。该方法实现了与数据规模呈线性关系的可扩展性，并在大规模真实世界数据集上表现出色，使高斯过程模型在处理数百万数据点时具备实际应用价值。

ABSTRACT

We introduce stochastic variational inference for Gaussian process models. This enables the application of Gaussian process (GP) models to data sets containing millions of data points. We show how GPs can be vari- ationally decomposed to depend on a set of globally relevant inducing variables which factorize the model in the necessary manner to perform variational inference. Our ap- proach is readily extended to models with non-Gaussian likelihoods and latent variable models based around Gaussian processes. We demonstrate the approach on a simple toy problem and two real world data sets.

研究动机与目标

• 解决在包含数百万数据点的大规模数据集上高斯过程计算不可行的问题。
• 开发一种可扩展的推断方法，同时保持高斯过程模型的灵活性和不确定性量化能力。
• 通过引入全局相关的诱导变量进行因子化近似，实现高斯过程模型中的变分推断。
• 将该方法扩展到非高斯似然和基于高斯过程的潜变量模型。
• 在真实世界数据集和一个简单问题上展示该方法的可扩展性和准确性。

提出的方法

• 提出一种变分推断框架，通过一组全局相关的诱导变量对高斯过程模型进行因子化分解。
• 通过处理数据的小批量来使用随机优化，将推断过程扩展到大规模数据集。
• 构建一个依赖于诱导变量的变分下界，从而实现高效的优化。
• 通过结合现有的变分推断技术，将该方法应用于具有非高斯似然的高斯过程模型。
• 通过在诱导变量上保持条件独立性，确保近似方法的有效性和可处理性。
• 利用高斯过程先验和似然的结构，推导出适合随机优化的可处理变分目标。

实验结果

研究问题

• RQ1 高斯过程模型能否被扩展到包含数百万数据点的数据集上？
• RQ2 如何在不产生禁止性计算成本的前提下，有效将变分推断应用于高斯过程模型？
• RQ3 诱导变量方法能否在支持随机优化的同时保持预测准确性？
• RQ4 该方法在具有非高斯似然的真实世界数据集上的表现如何？
• RQ5 在所提出的框架中，近似精度与计算效率之间的权衡是什么？

主要发现

• 所提出的方法与数据点数量呈线性可扩展性，使得在包含数百万个观测值的数据集上进行推断成为可能。
• 使用诱导变量实现了因子化近似，支持随机优化并降低了计算复杂度。
• 在基准数据集上，该方法的预测性能与精确高斯过程推断相比具有竞争力。
• 该方法成功处理了非高斯似然，扩展了高斯过程模型在更广泛问题类别中的适用性。
• 在真实世界数据集上的实证结果证实了该方法的可扩展性和在大规模机器学习任务中的实用性。
• 该框架在不同数据规模和模型配置下均表现出稳定的收敛性和鲁棒的性能。