[论文解读] Gaussian processes with linear operator inequality constraints

Christian Agrell|arXiv (Cornell University)|Jan 10, 2019

Gaussian Processes and Bayesian Inference参考文献 33被引用 9

一句话总结

本文提出了一种基于线性算子不等式约束的高斯过程回归方法，通过虚拟观测来强制执行对高斯过程的线性变换（如导数或积分）的边界约束。该方法实现了形状约束建模，支持精确的后验推断与稳定的数值实现，从而在高风险工程应用中提升了不确定性量化能力。

ABSTRACT

This paper presents an approach for constrained Gaussian Process (GP) regression where we assume that a set of linear transformations of the process are bounded. It is motivated by machine learning applications for high-consequence engineering systems, where this kind of information is often made available from phenomenological knowledge. We consider a GP $f$ over functions on $\mathcal{X} \subset \mathbb{R}^{n}$ taking values in $\mathbb{R}$, where the process $\mathcal{L}f$ is still Gaussian when $\mathcal{L}$ is a linear operator. Our goal is to model $f$ under the constraint that realizations of $\mathcal{L}f$ are confined to a convex set of functions. In particular, we require that $a \leq \mathcal{L}f \leq b$, given two functions $a$ and $b$ where $a < b$ pointwise. This formulation provides a consistent way of encoding multiple linear constraints, such as shape-constraints based on e.g. boundedness, monotonicity or convexity. We adopt the approach of using a sufficiently dense set of virtual observation locations where the constraint is required to hold, and derive the exact posterior for a conjugate likelihood. The results needed for stable numerical implementation are derived, together with an efficient sampling scheme for estimating the posterior process.

研究动机与目标

• 开发一种系统化的框架，将现象学知识（如有界性、单调性或凸性）通过线性算子约束整合到高斯过程回归中。
• 确保高斯过程变换输出（如导数或积分）在整个输入域内保持在指定边界范围内。
• 提供一种数值稳定且高效的后验推断方法，通过虚拟观测位置实现不等式约束下的推断。
• 在数据稀疏区域需要真实不确定性估计的计算机实验和高风险系统中，实现不确定性量化。
• 通过量化约束成立的可能性，支持模型可解释性与可证伪性。

提出的方法

• 在高斯过程 $f$ 上施加约束 $a(\mathbf{x}) \leq \mathcal{L}f(\mathbf{x}) \leq b(\mathbf{x})$，其中 $\mathcal{L}f$ 保持高斯分布，$\mathcal{L}$ 为线性算子。
• 使用有限组虚拟观测位置 $\{\mathbf{x}_v\}$ 在离散点上强制执行不等式约束，以近似保证全局满足。
• 利用共轭似然与虚拟观测，通过条件高斯分布的性质，推导出约束高斯过程的精确后验分布。
• 计算关键矩阵：$\mathcal{L}\mu^v$，$K_{X,X^v}\mathcal{L}^T$，$K_{X^*,X^v}\mathcal{L}^T$，以及 $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$，以支持后验计算。
• 采用采样方案估计后验过程，并在候选位置计算约束满足的概率。
• 基于估计的约束违反概率，迭代选择虚拟观测位置，以高概率确保全局约束满足。

实验结果

研究问题

• RQ1 如何一致地将线性算子约束（如导数或积分的边界）编码到高斯过程模型中？
• RQ2 在对线性变换施加不等式约束时，如何实现高效且数值稳定的后验计算方法？
• RQ3 如何自适应地选择虚拟观测位置，以高概率确保全局约束满足？
• RQ4 在输入域的数据稀疏区域，此类约束的引入在多大程度上提升了不确定性量化能力？
• RQ5 该方法是否能够通过量化约束违反的可能性，支持模型可解释性与可证伪性？

主要发现

• 通过在有限个位置设置虚拟观测，该方法实现了在不等式约束下高斯过程回归的精确后验推断。
• 该方法确保在虚拟位置处，变换过程 $\mathcal{L}f$ 以高概率保持在指定边界 $[a(\mathbf{x}), b(\mathbf{x})]$ 范围内，从而实现全局满足。
• 虚拟观测位置的选择算法为迭代式，基于最小化估计的约束违反概率，从而提升对输入域的覆盖。
• 后验均值与协方差通过条件高斯分布显式推导得出，其表达式包含矩阵 $\mathcal{L}\mu^v$，$K_{X,X^v}\mathcal{L}^T$，以及 $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$。
• 通过使用复合线性算子 $\mathcal{L}$，该方法以统一形式支持多种约束类型（如有界性、单调性、凸性）。
• 通过仔细推导所需协方差与均值项，实现了数值稳定性，使方法可在高维设置中实际应用。