[论文解读] GPfit: An R package for Gaussian Process Model Fitting using a New Optimization Algorithm

Blake MacDonald, Pritam Ranjan+1 more|May 3, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用 40

一句话总结

本文介绍了 R 包 GPfit，该包提供了一种计算高效且稳健的方法，用于将高斯过程（GP）模型拟合到确定性计算机模拟器。它采用了一种新颖的空间相关函数参数化方法，并结合多起点基于梯度的优化算法，在保持数值稳定性的同时，显著提升了速度，相比遗传算法方法更具优势，且通过下界 nugget 参数化方式增强了数值稳定性，经 mlegp 包验证有效。

ABSTRACT

Gaussian process (GP) models are commonly used statistical metamodels for emulating expensive computer simulators. Fitting a GP model can be numerically unstable if any pair of design points in the input space are close together. Ranjan, Haynes, and Karsten (2011) proposed a computationally stable approach for fitting GP models to deterministic computer simulators. They used a genetic algorithm based approach that is robust but computationally intensive for maximizing the likelihood. This paper implements a slightly modified version of the model proposed by Ranjan et al. (2011), as the new R package GPfit. A novel parameterization of the spatial correlation function and a new multi-start gradient based optimization algorithm yield optimization that is robust and typically faster than the genetic algorithm based approach. We present two examples with R codes to illustrate the usage of the main functions in GPfit. Several test functions are used for performance comparison with a popular R package mlegp. GPfit is a free software and distributed under the general public license, as part of the R software project (R Development Core Team 2012).

研究动机与目标

• 解决当输入设计点彼此靠近时 GP 模型拟合中的数值不稳定性问题。
• 克服现有 GP 拟合方法中基于遗传算法的似然优化计算效率低下的问题。
• 开发一种稳健、快速且稳定的替代方案，以替代现有的 R 包（如 mlegp），用于拟合确定性模拟器的 GP 模型。
• 实现一种下界 nugget 参数化方法，防止过度平滑，同时确保数值稳定性。
• 提供一个用户友好的 R 包，包含直观的函数用于模型拟合、预测和可视化。

提出的方法

• 提出一种新的空间相关函数参数化方法，以提高似然优化的稳定性和效率。
• 采用多起点基于梯度的优化算法，与遗传算法相比，显著加快收敛速度并减少计算时间。
• 在空间填充设计上使用基于聚类的方法，为梯度搜索生成多样化的初始值，从而增强全局收敛性。
• 对 nugget 参数实施下界约束，以防止过度平滑并保持模型准确性。
• 将优化过程与稳健的似然最大化框架相结合，以处理相关矩阵接近奇异时的问题。
• 提供一系列 R 函数，包括 GPfit()、predict() 和 plot()，用于在 1D 或 2D 网格上进行模型拟合、预测和可视化。

实验结果

研究问题

• RQ1 基于梯度的优化算法在确定性计算机实验的 GP 模型拟合中，是否在速度和鲁棒性方面优于遗传算法？
• RQ2 所提出的相关函数参数化方法在似然优化过程中如何提升数值稳定性和收敛性？
• RQ3 下界 nugget 参数对 GP 模型的预测精度和过度平滑的影响如何？
• RQ4 GPfit 与广泛使用的 mlegp R 包相比，在性能和准确性方面表现如何？
• RQ5 基于聚类的初始化策略结合多起点方法在多大程度上提升了优化过程的可靠性？

主要发现

• GPfit 中的多起点基于梯度的优化算法相比 ranjanNugget 中使用的遗传算法，速度显著更快，同时保持了相当或更优的收敛可靠性。
• 新颖的相关函数参数化方法实现了更高效、更稳定的似然优化，减少了在高维或聚类输入设计下的数值问题。
• 下界 nugget 方法能有效防止过度平滑，同时保持对模拟器输出的保真度，且不牺牲数值稳定性。
• 与 mlegp 包的经验比较表明，GPfit 在计算时间更短的前提下，实现了具有竞争力或更优的预测精度。
• 通过 nugget 约束，该包成功处理了接近奇异的相关矩阵，使得即使在输入空间中设计点彼此靠近时也能实现稳定拟合。
• GPfit 中的可视化函数（如 plot()）能够准确绘制预测值和均方误差的表面图与等高线图，支持自定义颜色调色板。