[论文解读] Patchwork Kriging for Large-scale Gaussian Process Regression

Chiwoo Park, Daniel W. Apley|arXiv (Cornell University)|Jan 23, 2017

Gaussian Processes and Bayesian Inference参考文献 17被引用 23

一句话总结

本文提出了一种新型的大规模高斯过程回归方法——Patchwork Kriging，该方法将输入空间划分为局部区域，每个区域独立拟合一个高斯过程模型，并通过将连续性约束作为伪观测嵌入，确保区域边界处的无缝连续性。该方法实现了计算高效、可扩展的高斯过程回归，具备有效的不确定性量化能力，且在边界区域的预测精度显著优于现有局部高斯过程方法。

ABSTRACT

This paper presents a new approach for Gaussian process (GP) regression for large datasets. The approach involves partitioning the regression input domain into multiple local regions with a different local GP model fitted in each region. Unlike existing local partitioned GP approaches, we introduce a technique for patching together the local GP models nearly seamlessly to ensure that the local GP models for two neighboring regions produce nearly the same response prediction and prediction error variance on the boundary between the two regions. This largely mitigates the well-known discontinuity problem that degrades the boundary accuracy of existing local partitioned GP methods. Our main innovation is to represent the continuity conditions as additional pseudo-observations that the differences between neighboring GP responses are identically zero at an appropriately chosen set of boundary input locations. To predict the response at any input location, we simply augment the actual response observations with the pseudo-observations and apply standard GP prediction methods to the augmented data. In contrast to heuristic continuity adjustments, this has an advantage of working within a formal GP framework, so that the GP-based predictive uncertainty quantification remains valid. Our approach also inherits a sparse block-like structure for the sample covariance matrix, which results in computationally efficient closed-form expressions for the predictive mean and variance. In addition, we provide a new spatial partitioning scheme based on a recursive space partitioning along local principal component directions, which makes the proposed approach applicable for regression domains having more than two dimensions. Using three spatial datasets and three higher dimensional datasets, we investigate the numerical performance of the approach and compare it to several state-of-the-art approaches.

研究动机与目标

• 为解决局部高斯过程回归方法中存在的不连续性问题，该问题会降低区域边界附近的预测精度。
• 开发一种计算高效的大型高斯过程回归框架，同时保持有效的预测不确定性量化。
• 通过一种新颖的空间划分与连续性强制策略，使高斯过程回归能够有效应用于高维和大规模数据集。
• 为连续性提供一个正式的贝叶斯框架，同时保持高斯过程预测的统计特性。

提出的方法

• 基于局部主成分方向的递归空间划分方法将输入域划分为局部区域，实现了在高维空间中的可扩展性。
• 在每个区域中独立拟合一个局部高斯过程模型，从而在计算效率上形成块对角协方差结构。
• 通过引入伪观测来强制相邻区域边界处的预测响应和方差差异为零，实现边界处的连续性。
• 将伪观测整合进标准高斯过程预测框架，利用扩展数据实现预测均值和方差的闭式计算。
• 该方法在协方差矩阵中继承了稀疏块结构，支持高效的Cholesky分解，计算复杂度为O(N)或O(NM²)，具体取决于近似方式。
• 该方法保持了完整的贝叶斯一致性，确保预测不确定性保持有效且校准良好。

实验结果

研究问题

• RQ1 局部高斯过程方法是否能在不牺牲计算效率的前提下实现在区域边界处的平滑预测？
• RQ2 在正式的高斯过程框架内，如何以统计上合理的方式强制实现局部高斯过程模型之间的连续性？
• RQ3 所提出的方法在预测精度和不确定性量化方面是否优于现有大规模高斯过程方法？
• RQ4 该方法能否有效扩展至高维输入空间？
• RQ5 在不同划分策略和伪观测策略下，计算成本与预测性能之间的权衡如何？

主要发现

• 在所有测试数据集中，所提出的Patchwork Kriging方法的均方误差（MSE）均低于PGP、RBCM和PIC，尤其在计算时间较短时表现更优。
• 在TCO臭氧数据集中，Patchwork Kriging在MSE和负对数预测密度（NLPD）方面均优于PGP和GMRF，尤其在计算时间较短时表现更佳。
• 该方法保持了有效的预测不确定性量化，测试集上NLPD得分保持一致。
• 沿局部主成分方向进行的递归空间划分在高维输入空间中实现了有效且可扩展的划分。
• 使用伪观测进行连续性强制显著降低了边界预测不匹配程度，相比启发式平滑方法效果更优。
• 在100秒计算时间内，该方法的预测性能优于PGP，展现出更优的效率-精度权衡。