[论文解读] Modelling local and global phenomena with sparse Gaussian processes

Jarno Vanhatalo, Aki Vehtari|arXiv (Cornell University)|Jun 13, 2012

Gaussian Processes and Bayesian Inference参考文献 16被引用 25

一句话总结

本文提出了一种新颖的稀疏高斯过程模型，结合了完全独立条件（FIC）近似以处理长长度尺度现象，以及紧支撑（CS）协方差函数以捕捉短长度尺度特征。通过利用CS核的稀疏性与FIC的高效性，该方法在计算复杂度与FIC相当的同时，比现有加法近似方法更准确地建模了局部与全局数据结构。

ABSTRACT

Much recent work has concerned sparse approximations to speed up the Gaussian process regression from the unfavorable O(n3) scaling in computational time to O(nm2). Thus far, work has concentrated on models with one covariance function. However, in many practical situations additive models with multiple covariance functions may perform better, since the data may contain both long and short length-scale phenomena. The long length-scales can be captured with global sparse approximations, such as fully independent conditional (FIC), and the short length-scales can be modeled naturally by covariance functions with compact support (CS). CS covariance functions lead to naturally sparse covariance matrices, which are computationally cheaper to handle than full covariance matrices. In this paper, we propose a new sparse Gaussian process model with two additive components: FIC for the long length-scales and CS covariance function for the short length-scales. We give theoretical and experimental results and show that under certain conditions the proposed model has the same computational complexity as FIC. We also compare the model performance of the proposed model to additive models approximated by fully and partially independent conditional (PIC). We use real data sets and show that our model outperforms FIC and PIC approximations for data sets with two additive phenomena.

研究动机与目标

• 解决现有稀疏高斯过程方法仅聚焦于单一协方差函数的局限性，这些方法可能无法捕捉真实数据中同时存在的长长度尺度与短长度尺度模式。
• 开发一种计算高效的模型，能够通过FIC捕捉全局趋势，同时通过紧支撑协方差函数捕捉局部变化。
• 在保持与FIC相当的计算复杂度的同时，提升在具有混合长度尺度现象的数据上的预测性能。
• 在真实世界数据集上，将所提模型与标准近似方法（如FIC和部分独立条件PIC）进行对比评估。

提出的方法

• 该模型采用加法核结构，结合用于全局长程依赖的完全独立条件（FIC）近似，以及用于局部短程变化的紧支撑（CS）协方差函数。
• CS协方差函数在协方差矩阵中引入稀疏性，相比密集核函数可显著降低计算成本。
• 通过利用CS分量的稀疏性与FIC的条件独立结构，该方法保持了与FIC相同的O(nm²)计算复杂度。
• 联合后验通过变分推理近似，其中使用诱导点表示FIC分量，而CS核则直接应用于局部邻域。
• 通过最大化边际似然来优化超参数，稀疏结构使得计算过程更加高效。

实验结果

研究问题

• RQ1 一种稀疏高斯过程模型是否能在单一框架中有效捕捉长长度尺度与短长度尺度现象？
• RQ2 将FIC与紧支撑协方差函数结合，是否能获得优于标准FIC或PIC近似的预测性能？
• RQ3 所提模型在引入局部结构的同时，是否具备足够高的计算效率以维持FIC的O(nm²)复杂度？
• RQ4 该模型在具有混合长度尺度行为的真实世界数据集上的表现如何？

主要发现

• 所提模型实现了与FIC相同的计算复杂度，从而支持在大规模数据集上进行可扩展的推理。
• 在同时包含全局趋势与局部特征的真实数据集上，该模型在预测精度上优于FIC与PIC近似方法。
• 使用紧支撑协方差函数可自然生成稀疏的精度矩阵，从而降低内存与计算开销。
• 加法结构使得模型对复杂数据模式的建模能力优于单核近似方法。