[论文解读] EigenGP: Gaussian Process Models with Adaptive Eigenfunctions

Hao Peng, Yuan Qi|arXiv (Cornell University)|Jan 2, 2014

Gaussian Processes and Bayesian Inference参考文献 23被引用 6

一句话总结

EigenGP 提出了一种新颖的稀疏高斯过程模型，该模型在再生核希尔伯特空间（RKHS）中学习数据自适应的特征函数作为基函数，通过最大化边缘似然函数联合优化先验精度和超参数。通过利用计算线性代数简化梯度计算，EigenGP 在预测精度和效率方面优于 SSGP、RVM 和 Nyström 方法，尤其在非平稳数据上表现更优，在基准数据集上误差最高可降低 10 倍。

ABSTRACT

Gaussian processes (GPs) provide a nonparametric representation of functions. However, classical GP inference suffers from high computational cost for big data. In this paper, we propose a new Bayesian approach, EigenGP, that learns both basis dictionary elements--eigenfunctions of a GP prior--and prior precisions in a sparse finite model. It is well known that, among all orthogonal basis functions, eigenfunctions can provide the most compact representation. Unlike other sparse Bayesian finite models where the basis function has a fixed form, our eigenfunctions live in a reproducing kernel Hilbert space as a finite linear combination of kernel functions. We learn the dictionary elements--eigenfunctions--and the prior precisions over these elements as well as all the other hyperparameters from data by maximizing the model marginal likelihood. We explore computational linear algebra to simplify the gradient computation significantly. Our experimental results demonstrate improved predictive performance of EigenGP over alternative sparse GP methods as well as relevance vector machine.

研究动机与目标

• 解决大规模数据集上精确高斯过程推理的高计算成本问题。
• 通过学习数据相关的基函数而非固定基函数，提升非平稳数据上的预测性能。
• 开发一种计算高效的稀疏高斯过程模型，联合优化特征函数、先验精度和超参数。
• 通过将有限模型扩展为无限形式，使分布外点的预测方差非零，从而实现更好的不确定性量化。
• 利用计算线性代数简化边缘似然优化中的梯度计算，与传统的 RVM 风格方法不同。

提出的方法

• EigenGP 将高斯过程表示为特征函数的有限线性组合，其中每个特征函数是再生核希尔伯特空间（RKHS）中核函数的线性组合。
• 通过最大化边缘似然函数，模型同时学习特征函数基元素及其对应的先验精度，实现数据自适应的基选择。
• 优化过程联合估计包括核函数长度尺度、基点位置和特征函数先验精度在内的超参数。
• 利用计算线性代数技术简化边缘似然优化的梯度计算，实现高效训练。
• 引入额外的核项，将有限模型扩展为无限模型，提升对分布外测试点的不确定性估计。
• 该方法具有 $O(NM)$ 的空间复杂度和 $O(NM^2)$ 的时间复杂度，与 SSGP 相当，且比 RVM 更高效，后者随 $N$ 个基函数呈更高复杂度增长。

实验结果

研究问题

• RQ1 在 RKHS 中学习数据自适应的特征函数，是否能相比固定基函数提升稀疏高斯过程模型的预测精度？
• RQ2 通过边缘似然最大化联合优化特征函数、先验精度和超参数，是否能实现比现有稀疏高斯过程方法更好的泛化性能？
• RQ3 能否利用计算线性代数简化非共轭稀疏高斯过程框架中的梯度计算，实现高效优化？
• RQ4 在固定基函数（如三角函数或 RBF 基函数）可能失效的非平稳数据上，EigenGP 表现如何？
• RQ5 能否将有限的 EigenGP 模型扩展为无限模型，以更好地捕捉分布外输入的预测不确定性？

主要发现

• 在波士顿房价数据集上，EigenGP 相较于表现第二好的方法 SSGP 实现了 10 倍的误差降低，使用 M=50 个基函数时的 NMSE 为 0.0110 ± 0.0006。
• 在加州房价数据集上，EigenGP 在所有 M 值（25 至 400）下均取得最低 NMSE，且训练时间显著短于其他方法。
• EigenGP 平均学习到合适的核宽度 η=0.07，而 FITC 学习到的宽度过大（207.75），导致因基点选择不佳而性能下降。
• 即使通过边缘似然进行优化，Nyström 方法的性能仍比 EigenGP 低几个数量级，部分数据集上的 NMSE 超过 10^4。
• RVM 的 NMSE 为 0.0111 ± 0.0004，但每次运行需 1.4 秒，而 EigenGP 在 M=50 时仅用 0.89 秒即达到相似精度，展现出更优的效率。
• 与 SSGP 和 FITC 相比，EigenGP 的预测均值和标准差在高频和非平稳区域与真实函数更吻合。