[论文解读] Sparse Additive Gaussian Process Regression

Hengrui Luo, Giovanni Nattino+1 more|arXiv (Cornell University)|Aug 23, 2019

Gaussian Processes and Bayesian Inference参考文献 49被引用 10

一句话总结

该论文提出了一种完全贝叶斯稀疏加性高斯过程（SAGP）回归模型，结合递归划分、稀疏高斯过程和贝叶斯加性建模，实现在大规模数据集上的高效、可量化不确定性的回归。通过划分输入空间并在每个子区域中拟合局部稀疏GP，SAGP在计算效率和预测性能方面优于单一稀疏GP模型，同时避免了复杂的伪输入选择和块间相关性。

ABSTRACT

In this paper we introduce a novel model for Gaussian process (GP) regression in the fully Bayesian setting. Motivated by the ideas of sparsification, localization and Bayesian additive modeling, our model is built around a recursive partitioning (RP) scheme. Within each RP partition, a sparse GP (SGP) regression model is fitted. A Bayesian additive framework then combines multiple layers of partitioned SGPs, capturing both global trends and local refinements with efficient computations. The model addresses both the problem of efficiency in fitting a full Gaussian process regression model and the problem of prediction performance associated with a single SGP. Our approach mitigates the issue of pseudo-input selection and avoids the need for complex inter-block correlations in existing methods. The crucial trade-off becomes choosing between many simpler local model components or fewer complex global model components, which the practitioner can sensibly tune. Implementation is via a Metropolis-Hasting Markov chain Monte-Carlo algorithm with Bayesian back-fitting. We compare our model against popular alternatives on simulated and real datasets, and find the performance is competitive, while the fully Bayesian procedure enables the quantification of model uncertainties.

研究动机与目标

• 解决全高斯过程回归在大规模数据集上的高计算成本问题。
• 通过捕捉全局趋势和局部特征，超越单一稀疏GP模型的预测性能。
• 构建一个完全贝叶斯框架，实现对参数和预测结果的合理不确定性量化。
• 通过避免基于随机树的划分和复杂的块间相关性，简化模型结构。
• 提供一种灵活可调的权衡机制，平衡大量简单局部模型与较少复杂全局模型之间的关系。

提出的方法

• 该模型使用递归划分（RP）方案将输入空间划分为互不相交的区域，以支持局部化建模。
• 在每个子区域内，使用一组固定的虚拟点拟合稀疏高斯过程（SGP），从而降低计算成本。
• 通过贝叶斯加性模型组合多层划分后的SGP，实现预测结果的分层精细化。
• 该方法采用马尔可夫链蒙特卡洛（MCMC）算法中的Metropolis-Hastings方法，并结合贝叶斯后向拟合，联合估计模型参数和超参数。
• 通过使用固定的划分方案，避免了块间相关性，并简化了伪输入的选择。
• 后验推断通过从SGP框架中导出的条件分布以及Woodbury恒等式实现，以实现高效计算。

实验结果

研究问题

• RQ1 结合稀疏GP与递归划分的完全贝叶斯加性模型，是否能实现优于单一稀疏GP模型的预测性能？
• RQ2 SAGP模型在大规模数据集上如何平衡计算效率与预测准确性？
• RQ3 与基于随机树的划分方法相比，固定的递归划分方案在多大程度上降低了复杂度？
• RQ4 SAGP模型能否有效捕捉非平稳数据中的全局趋势和局部特征？
• RQ5 完全贝叶斯框架在多大程度上能准确量化预测结果和模型参数的不确定性？

主要发现

• SAGP模型在模拟数据和真实数据集上均表现出与主流方法相当的预测性能。
• 通过完全贝叶斯框架，该模型实现了对参数和预测结果的完整不确定性量化。
• 通过在局部子区域中使用稀疏GP，显著提升了计算效率，将全GP回归的O(n³)计算成本降低。
• 固定的递归划分方案避免了随机树学习带来的计算开销，并消除了对复杂块间相关结构的需求。
• 该方法允许实践者根据数据特征，灵活调节大量简单局部模型与较少复杂全局模型之间的权衡。
• 诊断检验（Geweke和Heidelberger-Welch）在1000个模拟数据集中均确认MCMC收敛，支持可靠的推断。