[论文解读] Linearly constrained Gaussian processes

Carl Jidling, Niklas Wahlström+2 more|arXiv (Cornell University)|Mar 2, 2017

Gaussian Processes and Bayesian Inference被引用 33

一句话总结

本文提出一种方法，通过线性算子对多变量高斯过程进行变换，将线性算子约束（如无旋或无散条件）融入其中。该方法确保所有样本和预测结果精确满足约束条件，在磁感应强度预测等任务中显著提升精度，并在模拟与真实世界实验中均展现出性能增益。

ABSTRACT

We consider a modification of the covariance function in Gaussian processes to correctly account for known linear constraints. By modelling the target function as a transformation of an underlying function, the constraints are explicitly incorporated in the model such that they are guaranteed to be fulfilled by any sample drawn or prediction made. We also propose a constructive procedure for designing the transformation operator and illustrate the result on both simulated and real-data examples.

研究动机与目标

• 解决在高斯过程回归中强制执行已知线性算子约束（如微分方程或守恒定律）的挑战。
• 开发一种方法，确保所有高斯过程样本和预测结果严格满足约束条件，而非仅在离散点处近似满足。
• 提供一种构造性、可扩展的程序，用于设计将约束嵌入协方差函数的变换算子。
• 在合成问题和真实世界应用（如具有无旋约束的磁感应强度预测）中，验证该方法的有效性。

提出的方法

• 将目标函数建模为底层高斯过程的线性变换，其中变换算子用于施加所需的线性约束。
• 利用高斯过程在线性运算下保持封闭的性质，确保变换后的过程仍为有效高斯过程，且其均值和协方差函数相应调整。
• 使用导数算子的齐次多项式基构造变换算子，从而系统地推导出保持约束的核函数。
• 将约束满足问题表述为多项式系数上的齐次线性系统，通过计算零空间求解，以确保约束被精确满足。
• 推导新的协方差函数为 $ K_{\text{constrained}}(\mathbf{x}, \mathbf{x}') = \mathbf{A}^T K(\mathbf{x}, \mathbf{x}') \mathbf{A} $，其中 $ \mathbf{A} $ 为变换矩阵。
• 使用所得的约束高斯过程进行回归，通过标准高斯过程工具进行推理与预测，且保证约束完全合规。

实验结果

研究问题

• RQ1 如何在多变量高斯过程模型中精确强制执行线性算子约束（如无旋或无散）？
• RQ2 能否开发一种系统性程序，用于构造将任意线性约束嵌入高斯过程协方差结构的变换算子？
• RQ3 约束强制对真实世界回归任务中的预测精度和不确定性量化有何影响？
• RQ4 与忽略约束或仅在采样点处强制约束的基线方法相比，该方法表现如何？
• RQ5 该方法能否扩展至实际应用中由物理定律引发的复杂、高维约束？

主要发现

• 所提出的方法确保高斯过程的每一次样本生成和每一次预测结果均精确满足给定的线性约束，而不仅在观测点处。
• 在磁感应强度估计任务中，该方法显著提升了预测精度，相比无约束高斯过程基线方法，预测误差更低。
• 基于变换的方法避免了问题维度的增加，与通过添加虚构测量来强制约束的方法不同。
• 设计变换算子的构造性程序系统且通用，可适用于任意一组线性算子约束。
• 该方法在三维磁感应强度预测任务中成功嵌入了无旋约束，真实世界移动传感器平台数据表明其预测保真度显著提升。
• 该方法可在不牺牲计算效率的前提下，实现对受微分约束（如电磁场）控制的物理系统的精确建模。