[论文解读] A Unifying Framework for Sparse Gaussian Process Approximation using Power Expectation Propagation.

Thang D. Bui, Josiah Yan+1 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用 20

一句话总结

本文提出了一种基于幂期望传播（Power Expectation Propagation, Power EP）的稀疏高斯过程近似统一框架，将现有的伪点方法统一在一致的基于推理的框架下。通过在推理阶段而非建模阶段执行所有近似，该框架能够实现新型、更精确的方法，在回归、分类和状态空间建模任务中均优于现有方法。

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression, classification and state space modelling tasks.

研究动机与目标

• 解决在处理大规模数据集或非高斯似然时高斯过程所面临的计算与分析不可解问题。
• 将广泛存在的现有伪点近似方法统一在一个基于推理的框架下。
• 通过将近似从建模阶段转移到推理阶段，解决先前方法在哲学与实证层面的问题。
• 开发新型伪点近似方法，在标准基准任务中实现更优性能。

提出的方法

• 该框架以幂期望传播（Power EP）作为稀疏高斯过程的核心推理引擎。
• 使用一组伪数据点来总结完整数据集，从而在不修改生成模型的前提下实现可扩展推理。
• 所有近似均在推理阶段完成，避免了建模过程中引入的特定模型假设或近似。
• 该方法利用标准变分自由能和EP原理，确保与既有的推理技术保持一致。
• 通过调节Power EP中的幂参数，可系统推导出新型近似方案。
• 通过统一的概率推理流程，支持在回归、分类和状态空间模型中的灵活应用。

实验结果

研究问题

• RQ1 能否开发出一个单一、统一的框架，涵盖多种稀疏高斯过程近似方法？
• RQ2 将近似从建模阶段转移到推理阶段，对高斯过程近似的精度与一致性有何影响？
• RQ3 所提出的基于Power EP的框架能否生成优于现有方法的新近似方法？
• RQ4 该框架在多大程度上提升了回归、分类和状态空间建模任务中的性能？

主要发现

• 所提出的框架成功地将一大类现有稀疏GP近似方法统一在一个基于推理的公式下。
• 通过将所有近似推迟到推理阶段，该框架避免了先前建模阶段近似固有的不一致性和哲学问题。
• 该框架能够系统推导出新型伪点近似方法，在基准回归、分类和状态空间建模任务中达到最先进性能。
• 与现有稀疏GP方法相比，基于Power EP的方法在所有评估任务中均表现出更高的精度与鲁棒性。