[论文解读] RobustGaSP: Robust Gaussian Stochastic Process Emulation in R

Mengyang Gu, Jesús Palomo+1 more|arXiv (Cornell University)|Jan 5, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 15

一句话总结

RobustGaSP 在 R 中引入了一种鲁棒高斯随机过程（GaSP）模拟器，采用联合鲁棒先验的边缘后验众数估计方法，以稳定参数估计，尤其避免在相关参数接近 0 或 1 时出现的问题。与基于最大似然估计（MLE）的方法相比，该方法提升了样本外预测精度，并可无额外计算成本自动识别惰性输入。

ABSTRACT

Gaussian stochastic process emulation is a powerful tool for approximating computationally intensive computer models. However, estimation of parameters in the GaSP emulator is a challenging task. No closed-form estimator is available and many numerical problems arise with standard estimates, e.g., the maximum likelihood estimator. In this package, we implement a marginal posterior mode estimator, for special priors and parameterizations, an estimation method that meets the robust parameter estimation criteria discussed in \cite{Gu2018robustness}; mathematical reasons are provided therein to explain why robust parameter estimation can greatly improve predictive performance of the emulator. In addition, inert inputs (inputs that almost have no effect on the variability of a function) can be identified from the marginal posterior mode estimation, at no extra computational cost. The package also implements the parallel partial Gaussian stochastic process (PP GaSP) emulator (\cite{gu2016parallel}) for the scenario where the computer model has multiple outputs on e.g. spatial-temporal coordinates. The package can be operated in a default mode, but also allows numerous user specifications, such as the capability of specifying trend functions and noise terms. Examples are studied herein to highlight the performance of the package in terms of out-of-sample prediction.}

研究动机与目标

• 解决 GaSP 模型中最大似然估计（MLE）的不稳定性问题，特别是在相关参数趋近于 0 或 1 时。
• 开发一种鲁棒参数估计方法，确保高斯随机过程模拟中的数学稳定性，并提升预测性能。
• 在不增加额外计算成本的前提下，实现对惰性或噪声输入（对输出方差影响可忽略的输入）的自动识别。
• 通过并行部分高斯随机过程（PP GaSP）模拟器，将框架扩展至处理多输出计算机模型。
• 提供一种计算高效、用户可扩展的 R 包，支持默认鲁棒设置，并可自定义趋势函数、噪声项和先验分布。

提出的方法

• 采用边缘后验众数估计与联合鲁棒先验，以稳定后部分布，避免在极端相关值处出现数值问题。
• 使用低存储拟牛顿优化方法高效计算后验众数，利用对参考先验的计算高效近似。
• 通过联合鲁棒先验实现对不重要输入的自然收缩至零，从而通过后验众数分析实现惰性输入的识别。
• 应用 PP GaSP 框架，利用输出间的共享协方差结构对多个输出（如时空网格）进行建模，降低计算复杂度。
• 支持用户自定义趋势函数、具有固定或估计方差的噪声项，以及灵活的相关函数，提升模型适应性。
• 集成诊断工具，如留一法交叉验证、标准化残差和 QQ 图，用于模型验证与性能评估。

实验结果

研究问题

• RQ1 与 MLE 相比，采用鲁棒参数化与边缘后验众数估计是否能显著提升 GaSP 模拟器的预测精度？
• RQ2 联合鲁棒先验的使用是否能在不增加计算成本的前提下，实现稳定估计并自然识别惰性输入？
• RQ3 在多输出计算机模型中，PP GaSP 方法与独立 GaSP 模拟器相比，在预测精度与计算效率方面表现如何？
• RQ4 鲁棒参数化在多大程度上缓解了 GaSP 模型中的数值不稳定性，特别是在相关估计接近 0 或 1 时？
• RQ5 RobustGaSP 包在中等至大样本量的实际应用中，能否作为现有基于 MLE 的 GaSP 包的可靠且高效的替代方案？

主要发现

• RobustGaSP 估计器在样本外预测精度方面显著优于基于 MLE 的方法，尤其在小样本至中等样本量下表现更优。
• 在问题相关的相关值（0 和 1）处，后验密度为零，确保了数学稳定性，避免了数值奇异问题。
• findInertInputs 函数仅通过后验众数即可成功识别对输出方差影响可忽略的输入，且无需额外计算成本。
• 当 k >> n 时，PP GaSP 模拟器将计算复杂度从 O(kn³) 降低至 O(max(n³, kn²))，为多输出模型（如 TITAN2D）带来显著加速。
• 在 TITAN2D 案例研究中，PP GaSP 的 RMSE 略低，95% 预测可信区间更准确，且计算时间大幅减少。
• 该包的默认设置（包括联合鲁棒先验）为 GaSP 模拟提供了一种即开即用、稳定高效的解决方案，用户输入极少。