[论文解读] Finite-dimensional approximation of Gaussian processes with inequality constraints

Hassan Maatouk|arXiv (Cornell University)|Jun 6, 2017

Gaussian Processes and Bayesian Inference参考文献 34被引用 4

一句话总结

该论文提出了一种高斯过程的有限维近似方法，通过将过程表示为确定性基函数与相关高斯系数的线性组合，以强制执行无限不等式约束（如单调性、凸性及有界性）。该方法将无限约束转化为对系数的有限凸约束，从而通过截断高斯模拟实现精确强制执行，相较于现有方法在预测精度和不确定性量化方面表现更优。

ABSTRACT

Due to their flexibility, Gaussian processes (GPs) have been widely used in nonparametric function estimation. A prior information about the underlying function is often available. For instance, the physical system (computer model output) may be known to satisfy inequality constraints with respect to some or all inputs. We develop a finite-dimensional approximation of GPs capable of incorporating inequality constraints and noisy observations for computer model emulators. It is based on a linear combination between Gaussian random coefficients and deterministic basis functions. By this methodology , the inequality constraints are respected in the entire domain. The mean and the maximum of the posterior distribution are well defined. A simulation study to show the efficiency and the performance of the proposed model in term of predictive accuracy and uncertainty quantification is included.

研究动机与目标

• 开发一种计算高效的高斯过程模型方法，以在计算机实验中引入无限不等式约束（如单调性、凸性）
• 确保所得GP近似在整个输入域上均满足约束，而不仅在离散点上
• 通过截断高斯分布的使用，保证后验均值和最大值的明确定义
• 在存在噪声观测和形状约束的情况下，提升预测精度与不确定性量化性能
• 提供一种可扩展的替代方案，以替代依赖导数约束或基于投影方法的现有约束GP方法

提出的方法

• 将GP近似为确定性基函数与高斯分布系数的线性组合，以确保路径收敛
• 特别选择基函数，使得过程上的无限不等式约束对应于系数向量上的有限凸约束
• 将条件后验分布定义为受限于凸集的截断高斯向量，从而可利用现有算法实现精确模拟
• 通过将测量误差纳入似然函数来处理噪声观测，保持共轭性与计算可及性
• 通过交叉验证估计超参数，且由于约束集的凸性，后验均值与最大值均明确定义
• 该方法可推广至多维情形，并支持多种约束，包括有界性、单调性与凸性

实验结果

研究问题

• RQ1 有限维GP近似能否在整个输入域上强制执行无限多个不等式约束（如单调性）？
• RQ2 与现有约束GP方法相比，该方法在预测精度与不确定性量化方面表现如何？
• RQ3 约束GP的后验均值与最大值是否明确定义且计算上可行？
• RQ4 在观测数据有限且存在噪声的情况下，该方法是否仍能保持高预测性能，尤其是在形状约束下？
• RQ5 在具有复杂物理约束的实际应用中（如核安全模拟），该方法的有效性如何？

主要发现

• 在6个测试函数中的4个上，该有限维GP近似在均方误差方面优于高斯过程投影方法，部分案例的MSE降低达10倍（例如，f1的MSE从0.04降至2.86e-3）
• 在真实核安全数据上，该约束模型的Q²得分达到0.98，显著优于无约束GP（Q² = 0.69）
• 仅使用五个观测点时，该约束模型即在整个定义域上强制实现单调性，而无约束GP则未能实现
• 由于系数约束集的凸性，该方法确保了后验均值与最大值的明确定义
• 该方法在存在噪声观测与复杂约束的情况下，仍能保持高预测精度，1D与2D模拟结果均验证了这一点
• 基函数构造成功地将无限不等式约束转化为对系数的有限维凸约束，从而可通过截断高斯抽样实现高效模拟