[论文解读] Gaussian Process Modulated Cox Processes under Linear Inequality Constraints

Andrés F. López-Lopera, St. John+1 more|SPIRE - Sciences Po Institutional REpository|Feb 28, 2019

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种高斯过程调制的 Cox 过程的新型有限维近似方法，直接在高斯过程本身上施加正值性及其他线性不等式约束（例如单调性），从而无需使用连接函数。通过从截断多变量正态分布中进行采样，该方法实现了似然函数的闭式计算，并显著提升了推断精度，尤其是在单调性约束下，如在合成及真实世界的一维/二维点过程数据上所展示的那样。

ABSTRACT

Gaussian process (GP) modulated Cox processes are widely used to model point patterns. Existing approaches require a mapping (link function) between the unconstrained GP and the positive intensity function. This commonly yields solutions that do not have a closed form or that are restricted to specific covariance functions. We introduce a novel finite approximation of GP-modulated Cox processes where positiveness conditions can be imposed directly on the GP, with no restrictions on the covariance function. Our approach can also ensure other types of inequality constraints (e.g. monotonicity, convexity), resulting in more versatile models that can be used for other classes of point processes (e.g. renewal processes). We demonstrate on both synthetic and real-world data that our framework accurately infers the intensity functions. Where monotonicity is a feature of the process, our ability to include this in the inference improves results.

研究动机与目标

• 解决现有高斯过程调制 Cox 过程依赖连接函数所带来的局限性，这些方法通常缺乏闭式解或限制协方差函数的选择。
• 开发一种框架，直接在高斯过程上施加正值性及其他线性不等式约束（例如单调性、凸性），而非通过变换实现。
• 在点过程强度函数的推断中实现准确且带有不确定性感知的结果，特别是在可靠性应用中，单调风险率较为常见。
• 通过有限维高斯过程近似确保计算上的可行性，同时在整个输入域上保持约束满足。

提出的方法

• 使用一组基函数和节点，通过有限维高斯过程近似强度函数，确保在离散位置上满足约束条件。
• 通过从截断多变量正态分布中采样，直接在高斯过程系数上施加线性不等式约束（例如非负性、单调性）。
• 使用基于截断正态分布的定制提议分布的哈密顿蒙特卡洛（HMC）采样器，以在 MCMC 推断过程中保持高接受率。
• 通过解析方法计算似然函数和强度测度，避免了在使用指数或平方等连接函数时出现的不可计算积分。
• 利用可学习长度尺度参数的平方指数核的乘积构造协方差函数，以灵活建模时空依赖性。
• 应用预 burn-in 阶段，并保留后验分布的样本以估计强度函数及其不确定性，计算成本与数据规模呈线性关系。

实验结果

研究问题

• RQ1 我们能否在不依赖连接函数来强制正值性的情况下建模高斯过程调制的 Cox 过程，从而实现似然函数的闭式计算？
• RQ2 直接在高斯过程上施加线性不等式约束（例如单调性）如何提升点过程强度函数推断的准确性？
• RQ3 所提出的方法能否有效建模可靠性应用中的单调风险率，例如更新过程中的情况？
• RQ4 当约束已知但未被强制执行时，该模型的性能与标准 GP-Cox 方法相比如何？
• RQ5 节点位置和维度对有限维近似方法的可扩展性和准确性有何影响？

主要发现

• 所提出的方法通过直接在高斯过程上施加约束，实现了似然函数和强度测度的闭式计算，避免了基于连接函数方法中常见的不可计算积分。
• 在单调性约束下的推断显著提升了准确性，尤其在数据稀少时，如在一维合成示例中所展示。
• 在二维红杉树数据集上，该模型成功捕捉了空间聚类模式，当使用更长的长度尺度参数时，强度估计更加平滑。
• 当通过最大似然法估计协方差参数时，推断出的长度尺度（ℓ₁=0.055, ℓ₂=0.084）表明在第二维空间方向上具有更高的平滑性，与先前研究结果一致。
• 该方法实现了约每秒 4 个样本的采样速率，对二维红杉数据集运行 10⁵ 个后验样本的总运行时间为 7.6 小时，证明了其实际可行性。
• 基于截断正态分布的 HMC 提议分布带来了高接受率，在约束采样中优于朴素的多变量正态分布提议。