[论文解读] Emulating computer models with step-discontinuous outputs using Gaussian processes

Hossein Mohammadi, Peter Challenor+2 more|arXiv (Cornell University)|Mar 5, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 5

一句话总结

本文提出了一种新颖的高斯过程（GP）方法，用于模拟具有阶跃不连续输出的计算机模型——这类输出在具有临界点或分岔的系统中很常见——通过使用专用核函数（神经网络核与Gibbs核）及输入空间变形。主要贡献在于，这些方法在捕捉尖锐不连续性方面显著优于使用Matérn或平方指数核的标准GP，其中采用反正切长度尺度的Gibbs核与使用反正切变换的变形方法在RMSE性能上表现最佳。

ABSTRACT

In many real-world applications we are interested in approximating costly functions that are analytically unknown, e.g. complex computer codes. An emulator provides a fast approximation of such functions relying on a limited number of evaluations. Gaussian processes (GPs) are commonplace emulators due to their statistical properties such as the ability to estimate their own uncertainty. GPs are essentially developed to fit smooth, continuous functions. However, the assumptions of continuity and smoothness is unwarranted in many situations. For example, in computer models where bifurcations or tipping points occur, the outputs can be discontinuous. This work examines the capacity of GPs for emulating step-discontinuous functions. Several approaches are proposed for this purpose. Two special covariance functions/kernels are adapted with the ability to model discontinuities. They are the neural network and Gibbs kernels whose properties are demonstrated using several examples. Another approach, which is called warping, is to transform the input space into a new space where a GP with a standard kernel, such as the Matern family, is able to predict the function well. The transformation is perform by a parametric map whose parameters are estimated by maximum likelihood. The results show that the proposed approaches have superior performance to GPs with standard kernels in capturing sharp jumps in the true function.

研究动机与目标

• 解决标准高斯过程在建模复杂计算机模拟中常见的不连续输出方面的局限性。
• 开发基于GP的代理模型，以准确捕捉动力系统中由分岔或临界点引发的阶跃不连续性。
• 提出替代基于分区的方法，后者需要单独检测不连续边界。
• 评估专用核函数与变形技术相对于标准GP核函数在高维不连续函数模拟中的性能表现。

提出的方法

• 将神经网络核与Gibbs核作为专用协方差函数，通过非平稳或非光滑结构来建模不连续性。
• 通过参数化的S型变换（如逻辑斯蒂、反正切）引入输入空间变形，将输入映射到一个新空间，使标准核函数能有效建模不连续输出。
• 通过最大似然估计（MLE）联合估计变形变换参数与GP超参数。
• 在变形空间中使用平方指数核，并利用标准GP条件分布推导预测均值与方差。
• 对输入空间应用变形变换，使得在变换后空间中的核函数能够捕捉输出中的阶跃式跃迁。
• 使用大小为1000的测试集评估性能，采用20个独立的大小为10d的训练集，使用填充设计。

实验结果

研究问题

• RQ1 基于专用核函数（如神经网络核与Gibbs核）的高斯过程能否有效建模计算机模拟中的阶跃不连续函数？
• RQ2 与标准核函数相比，使用S型变换的输入空间变形在GP对不连续输出的模拟中表现如何提升？
• RQ3 在Gibbs核中，作为变形映射或长度尺度函数的不同S型函数（如逻辑斯蒂、反正切）的相对性能如何？
• RQ4 变形是否能消除基于分区方法（如TGP或基于Voronoi的代理模型）中对不连续边界单独检测的需求？

主要发现

• 在2D与5D实验中，采用反正切长度尺度的神经网络核与Gibbs核均实现了最低的RMSE，优于标准核函数。
• 采用反正切变换的变形方法也取得了最佳性能，与最优核函数方法表现极为接近。
• 平方指数核与Matérn 3/2核表现最差，其RMSE显著更高，原因在于其光滑性假设。
• 在S型函数中，逻辑斯蒂变换导致最高的RMSE，而反正切函数始终提供最精确的预测。
• 采用反正切长度尺度的Gibbs核与使用反正切映射的变形方法均实现了最佳平均RMSE，表明其在建模阶跃不连续性方面的适用性。
• 结果表明，通过最大似然估计联合估计变形参数与GP超参数，可在无需事先检测不连续性的情况下实现有效模拟。