[论文解读] Approximating Gaussian Process Emulators with Linear Inequality Constraints and Noisy Observations via MC and MCMC

Andrés F. López-Lopera, François Bachoc+4 more|arXiv (Cornell University)|Jan 15, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用 10

一句话总结

本文提出了一种新颖的高斯过程（GP）代理模型框架，适用于具有线性不等式约束和噪声观测的场景，采用蒙特卡洛（MC）和马尔可夫链蒙特卡洛（MCMC）方法。通过引入噪声项以放宽严格插值要求，该方法使在约束较少的空间中实现更高效的采样成为可能，显著提升了MCMC采样效率，并实现了在高维问题（如具有单调性和非负性约束的海岸洪水模拟）中的可扩展、现实的GP代理建模。

ABSTRACT

Adding inequality constraints (e.g. boundedness, monotonicity, convexity) into Gaussian processes (GPs) can lead to more realistic stochastic emulators. Due to the truncated Gaussianity of the posterior, its distribution has to be approximated. In this work, we consider Monte Carlo (MC) and Markov Chain Monte Carlo (MCMC) methods. However, strictly interpolating the observations may entail expensive computations due to highly restrictive sample spaces. Furthermore, having (constrained) GP emulators when data are actually noisy is also of interest for real-world implementations. Hence, we introduce a noise term for the relaxation of the interpolation conditions, and we develop the corresponding approximation of GP emulators under linear inequality constraints. We show with various toy examples that the performance of MC and MCMC samplers improves when considering noisy observations. Finally, on 2D and 5D coastal flooding applications, we show that more flexible and realistic GP implementations can be obtained by considering noise effects and by enforcing the (linear) inequality constraints.

研究动机与目标

• 解决在GP代理模型中，严格插值约束下截断高斯过程计算不可行的问题。
• 通过引入观测噪声放宽插值约束，提升MC和MCMC方法的采样效率。
• 在高维问题（如5D海岸洪水模拟）中实现实际且现实的GP代理建模，满足如单调性和非负性等物理约束。
• 证明引入观测噪声可提高受限MCMC采样中的有效样本量并加快收敛速度。
• 提供一种可扩展的约束型GP代理建模框架，即使在小规模训练集下仍保持高精度。

提出的方法

• 采用分段线性基函数与节点（knots）的有限维GP近似，实现在输入空间上对线性不等式约束的精确强制。
• 通过引入噪声项建模观测数据，放宽严格插值要求，将受限后验分布转化为约束性更弱的采样空间。
• 应用MCMC和哈密顿蒙特卡洛（HMC）采样器，近似受限后验分布。
• 在高维输入中使用一维Matérn 5/2核的克罗内克积构建结构化协方差，参数通过最大似然法估计。
• 在海岸洪水应用中，对关键输入维度（T和S）施加非负性和单调性约束。
• 在呈现线性行为的维度（如T、S、t−、t+）中采用稀疏节点布置，以降低计算成本，同时保持精度。

实验结果

研究问题

• RQ1 在约束型GP代理模型中引入观测噪声，是否能提升MC和MCMC采样器的效率与收敛性？
• RQ2 通过噪声放宽插值约束，对高维问题中GP代理模型的准确性和现实性有何影响？
• RQ3 带有噪声的约束型GP代理模型能否在5D应用中实现高有效样本量和合理运行时间？
• RQ4 在训练数据有限的情况下，非负性和单调性约束在多大程度上提升了预测性能？
• RQ5 所提出的框架是否可扩展至实际的高维问题，如海岸洪水模拟？

主要发现

• 引入观测噪声显著提升了MCMC采样效率，通过降低采样空间的约束性，实现更快收敛和更高的有效样本量。
• 在1D和5D单调性示例中，HMC采样器优于其他采样器，在高维受限空间中仍能实现高有效样本量。
• 仅使用10%的数据（20个观测值），带有非负性和单调性约束的约束型GP代理模型在海岸洪水应用中实现了高预测精度（Q2显著提升）。
• MC和MCMC采样器的计算复杂度取决于节点数（m），而非观测数（n），因此当n较大时可实现m ≪ n，支持可扩展推理。
• 该框架成功强制执行了线性不等式约束（如非负性、单调性），同时在玩具模型和真实2D与5D应用中保持了现实且符合物理规律的模型形态。
• 在呈现线性行为的维度中采用稀疏节点布置，显著降低了计算成本，且未牺牲预测精度，有力支持了可扩展性。