[论文解读] Local Gaussian Process Approximation for Large Computer Experiments

Robert B. Gramacy, Daniel W. Apley|arXiv (Cornell University)|Mar 2, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用 6

一句话总结

本文提出了一种用于大规模计算机实验的局部高斯过程近似方法，通过顺序设计动态构建局部预测模型，实现在多核架构上的快速、并行化推理。通过聚焦于局部邻域并支持高效顺序更新，该方法在保持与完整高斯过程模型相当的预测精度的同时，实现与数据规模线性增长的可扩展性，在大规模数据集上的速度和精度均优于紧支撑协方差方法。

ABSTRACT

We provide a new approach to approximate emulation of large computer experiments. By focusing expressly on desirable properties of the predictive equations, we derive a family of local sequential design schemes that dynamically define the support of a Gaussian process predictor based on a local subset of the data. We further derive expressions for fast sequential updating of all needed quantities as the local designs are built-up iteratively. Then we show how independent application of our local design strategy across the elements of a vast predictive grid facilitates a trivially parallel implementation. The end result is a global predictor able to take advantage of modern multicore architectures, providing a nonstationary modeling feature as a bonus. We demonstrate our method on two examples utilizing designs with thousands of data points, and compare to the method of compactly supported covariances.

研究动机与目标

• 解决在大规模计算机实验中完整高斯过程模型计算不可行的问题。
• 开发一种可扩展、可并行化的高斯过程方法，保持高预测精度，且不假设平稳性。
• 实现大规模模拟中局部预测模型的高效顺序设计与更新。
• 为完整高斯过程和紧支撑协方差方法提供一种计算上可行的替代方案。
• 证明局部非平稳建模可优于全局平稳近似方法，在预测性能上表现更优。

提出的方法

• 该方法通过迭代选择能最大程度减少预测方差的数据点，以每个查询点 x 为中心构建局部预测模型。
• 采用基于预测方差减少量的贪心主动学习准则，顺序构建局部设计，确保最优的局部支持。
• 所有必要量（均值、方差、相关性）在新增点时均以闭式高效更新。
• 该方法支持在大型输入点网格上实现无通信开销的并行预测，且并行化实现极为简单。
• 该方法对协方差族无依赖性，可适用于任意解析可导核函数，尽管为说明目的使用了简单的平方指数核。
• 避免使用截断或全局基函数，转而依赖离散的、局部化的支持，以保持计算效率和非平稳性。

实验结果

研究问题

• RQ1 局部顺序设计策略是否能在保持计算高效的同时，实现大规模计算机实验的高预测精度？
• RQ2 在速度和精度方面，局部高斯过程近似方法与紧支撑协方差（CSC）方法相比表现如何？
• RQ3 基于预测方差减少的局部设计策略是否能优于标准最近邻方法在局部克里金插值中的表现？
• RQ4 在局部核结构较简单的情况下，局部非平稳建模能在多大程度上弥补其不足？
• RQ5 该局部设计方法是否能高效地在大型预测网格上实现无通信开销的并行化？

主要发现

• 在包含 8,000 个点的 borehole 实验中，局部高斯过程近似方法的均方根误差（RMSE）为 0.787，与完整高斯过程方法相当，但比紧支撑协方差（CSC）方法快逾 100 倍。
• 该方法在数据规模上呈线性扩展，10,000 个点的数据集上运行时间从 alc2 的 92.3 秒增加到 mspe2 的 169.1 秒，而 CSC 方法耗时超过 26,000 秒。
• 该方法的 $√{1-\mathrm{NSE}}$ 值为 0.0173，表明其具有出色的预测性能，并在 borehole 实例中优于最近邻和 CSC 变体方法的精度。
• 通过 OpenMP 并行化实现了接近线性的加速比，支持在大型输入点网格上实现无通信开销的并行预测。
• 基于预测方差减少的局部设计策略在相同局部设计规模下，其预测精度始终优于简单的最近邻局部设计。
• 即使采用朴素的平方指数核，该局部方法仍优于更复杂的 CSC 方法，证明了局部建模中非平稳性带来的优势。