[论文解读] Bayesian Modeling with Gaussian Processes using the GPstuff Toolbox

Jarno Vanhatalo, Jaakko Riihimäki+4 more|arXiv (Cornell University)|Jun 25, 2012

Gaussian Processes and Bayesian Inference参考文献 115被引用 35

一句话总结

本论文介绍了 GPstuff，这是一个用于贝叶斯高斯过程建模的免费开源 MATLAB 和 Octave 工具箱，提供包括拉普拉斯近似、期望传播、马尔可夫链蒙特卡洛（MCMC）以及稀疏近似在内的高级推断方法。该工具箱支持灵活的分层建模，具有显式先验，可在多种似然函数（高斯、学生-t 分布、泊松、二项分布、生存模型）下实现稳健推断，并通过紧支撑协方差函数和变分稀疏方法实现高效计算。

ABSTRACT

Gaussian processes (GP) are powerful tools for probabilistic modeling purposes. They can be used to define prior distributions over latent functions in hierarchical Bayesian models. The prior over functions is defined implicitly by the mean and covariance function, which determine the smoothness and variability of the function. The inference can then be conducted directly in the function space by evaluating or approximating the posterior process. Despite their attractive theoretical properties GPs provide practical challenges in their implementation. GPstuff is a versatile collection of computational tools for GP models compatible with Linux and Windows MATLAB and Octave. It includes, among others, various inference methods, sparse approximations and tools for model assessment. In this work, we review these tools and demonstrate the use of GPstuff in several models.

研究动机与目标

• 提供一个全面且可扩展的贝叶斯高斯过程建模工具箱，支持广泛的似然函数和推断方法。
• 通过开箱即用的支持分层先验、边际化和模型评估，解决高斯过程实现中的实际挑战。
• 通过稀疏近似和紧支撑协方差函数提升计算效率和可扩展性。
• 通过在超参数上使用显式、信息丰富的先验，促进严谨的贝叶斯推断，避免非信息性或均匀先验的缺陷。
• 支持高级建模功能，如导数观测、单调性约束、输入相关噪声和多潜变量模型。

提出的方法

• 采用分层贝叶斯框架，其中潜变量函数是通过均值函数和协方差函数定义的高斯过程先验。
• 采用多种推断技术：对非高斯似然使用拉普拉斯近似，对更优后验近似使用期望传播（EP），对完整后验抽样使用马尔可夫链蒙特卡洛（MCMC）。
• 应用稀疏近似方法，包括 FIC、PIC、变分推理、DTC 和 SOR，以降低大规模数据集的计算成本。
• 通过网格积分、蒙特卡洛方法和中心复合设计实现对超参数的边际化，以提高模型鲁棒性。
• 通过可加、乘积和输入相关协方差函数实现灵活建模，并支持非高斯观测模型（如学生-t 分布、泊松分布、负二项分布）。
• 提供基于 DIC、WAIC、交叉验证和边际似然的模型评估工具，内置可视化和诊断函数。

实验结果

研究问题

• RQ1 如何设计一个统一且可扩展的工具箱，以支持具有各种似然函数和推断方法的多样化高斯过程模型？
• RQ2 在高斯过程超参数估计中，使用显式、信息丰富的先验相较于均匀或非信息性先验有何实际优势？
• RQ3 在真实世界高斯过程模型中，不同推断方法（拉普拉斯近似、EP、MCMC 和稀疏近似）在准确性、速度和可扩展性方面如何比较？
• RQ4 紧支撑协方差函数和稀疏近似在不牺牲预测性能的前提下，能在多大程度上提升计算效率？
• RQ5 如何将复杂建模扩展（如导数观测、单调性约束、输入相关噪声）有效集成到通用高斯过程工具箱中？

主要发现

• GPstuff 在多种模型中实现了稳健的贝叶斯推断，包括回归、分类、计数数据、生存模型和多潜变量系统。
• 显式先验显著提升了参数可识别性和后验集中度，尤其在高维或病态问题（如长度尺度和幅度参数未充分识别）中表现突出。
• FIC、PIC 和变分推理等稀疏近似将计算复杂度从 O(n³) 降低至 O(nm²)，其中 m ≪ n，使大规模数据集上的可扩展高斯过程推断成为可能。
• 拉普拉斯近似和 EP 方法对非高斯似然提供了准确且高效的后验近似，其中 EP 在重尾或离散数据上的预测准确性通常优于拉普拉斯近似。
• WAIC 和 DIC 等模型评估工具在模型比较和最优超参数选择方面表现有效，且在多个基准问题上得到实证验证。
• 该工具箱支持高级功能，如输入相关噪声、零膨胀模型和导数观测，展示了其在复杂真实世界建模任务中的灵活性。