[论文解读] A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation

Thang D. Bui, Josiah Yan+1 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 38被引用 48

一句话总结

本文提出了一种基于幂期望传播（Power Expectation Propagation, Power EP）的高斯过程伪点近似统一框架，将稀疏GP推断重新表述为近似推断问题，而非修改生成模型。该方法统一了现有方法，通过幂EP参数α实现灵活优化，并在回归与分类任务中实现了最先进的性能，显著提升了准确率与鲁棒性。

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper, we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and Power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way, all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression and classification tasks.

研究动机与目标

• 开发一种统一的、基于推断的稀疏高斯过程近似框架，避免对生成模型进行任意修改。
• 通过在推断阶段而非建模阶段执行所有近似，解决先前伪点方法在哲学与实证层面的不一致性。
• 将一系列现有稀疏GP方法——如VFE、EP以及Snelson的方法——统一于一个统一的幂EP公式下。
• 证明新框架能够实现超越当前最先进方法的新近似方案，在真实世界回归与分类任务中表现更优。

提出的方法

• 该框架使用幂期望传播（Power EP）来近似GP模型中潜在函数的后验分布，将伪点视为变分参数。
• 引入一个连续插值参数α，用于在变分贝叶斯（VFE，α→0）与标准EP（α=1）之间插值，实现不同推断策略之间的平滑过渡。
• 通过M个伪输入及其对应的伪输出来近似完整GP先验，将计算成本从O(N³)降低至O(NM²)。
• 算法通过因子图表示中的迭代消息传递执行近似推断，其中每个训练数据点均通过涉及M个伪点的因子进行近似。
• 通过使用适当的似然函数（高斯与伯努利分布），该框架同时支持回归与分类任务，并在两种设置下使用相同的推断机制。
• 在Power EP框架内，通过变分自由能目标联合优化伪点与超参数。

实验结果

研究问题

• RQ1 能否开发出一个单一的统一框架，涵盖广泛存在的稀疏GP近似方法？
• RQ2 幂EP参数α如何影响GP推断中准确率与计算效率之间的权衡？
• RQ3 所提出的推断时近似框架在预测性能上是否优于现有建模时近似方法？
• RQ4 伪点的位置如何随α变化？其与数据结构及决策边界的关联是什么？
• RQ5 该框架是否能在极限情况下恢复已知方法（如标准EP或VFE），并实现对它们的推广？

主要发现

• 所提出的基于Power EP的框架将一系列稀疏GP近似方法（包括VFE、EP与Snelson方法）统一于单一推断框架下。
• 该框架实现了新的近似方案，在回归与分类基准测试中均优于现有方法，表现为更低的测试对数损失与分类误差。
• 当α=1且M=N时，该方法恢复了GP分类的标准EP，验证了与既定方法的一致性。
• 伪点位置随α动态变化：在低α（类似VFE）时集中于决策边界附近，而在高α（类似EP）时则分布于数据区域内部，可视化结果清晰显示了这一现象。
• 在真实世界数据集上，该方法实现了最先进性能，显著降低了负对数似然与误差率，尤其当使用M=100–200个伪点时效果更显著。
• 该框架在多个数据集与任务中表现出强鲁棒性，在20组随机数据划分的回归与分类设置中，对VFE与EP均实现了持续且一致的性能提升。