[论文解读] Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features

Arno Solin, Manon Kok|arXiv (Cornell University)|Apr 10, 2019

Gaussian Processes and Bayesian Inference被引用 9

一句话总结

本文提出了一种新颖的方法，通过变分调和特征将高斯过程（GPs）约束于任意形状的区域，实现精确的边界条件（例如在边界处为零），同时实现 O(nm²) 的预测和 O(m³) 的超参数学习可扩展性。该方法结合变分推理以处理非高斯似然，实现对空间和时空问题中物理约束的精确建模，在模拟数据、二值分类以及荷兰地区蜱虫叮咬密度的真实世界模型中均取得成功。

ABSTRACT

Gaussian processes (GPs) provide a powerful framework for extrapolation, interpolation, and noise removal in regression and classification. This paper considers constraining GPs to arbitrarily-shaped domains with boundary conditions. We solve a Fourier-like generalised harmonic feature representation of the GP prior in the domain of interest, which both constrains the GP and attains a low-rank representation that is used for speeding up inference. The method scales as $\mathcal{O}(nm^2)$ in prediction and $\mathcal{O}(m^3)$ in hyperparameter learning for regression, where $n$ is the number of data points and $m$ the number of features. Furthermore, we make use of the variational approach to allow the method to deal with non-Gaussian likelihoods. The experiments cover both simulated and empirical data in which the boundary conditions allow for inclusion of additional physical information.

研究动机与目标

• 解决在高斯过程中对任意形状区域施加边界条件的方法缺乏的问题。
• 开发一种低秩 GP 近似方法，自然地施加边界条件，而无需人工数据点。
• 将变分傅里叶特征扩展至处理受限区域中的非高斯似然。
• 在保持物理约束的同时，实现可扩展的推断（O(nm²) 预测，O(m³) 超参数学习）。
• 在包含物理边界知识的真实世界空间数据（如受陆地块限制的蜱虫密度）中展示该方法。

提出的方法

• 该方法使用在感兴趣区域上的 GP 先验的广义调和特征分解，其来源于在狄利克雷边界条件下求解拉普拉斯算子的特征值问题。
• 通过构造在区域边界处消失的调和基函数的低秩近似来实现 GP 协方差的近似，从而确保边界条件的自然施加。
• 通过在调和特征空间中使用诱导点，将变分推理框架调整以支持非高斯似然。
• 该方法利用调和特征的结构实现高效推断，计算复杂度在预测时为 O(nm²)，在超参数学习时为 O(m³)。
• 该方法支持非凸和不连通的区域，如在具有复杂形状的二维示例中所示。
• 拉普拉斯算子的特征分解在每个区域内仅需计算一次，可在同一区域上的不同模型间重复使用。

实验结果

研究问题

• RQ1 能否使用调和特征自然地将高斯过程约束于任意形状的区域，同时保持计算效率？
• RQ2 如何在不依赖人工观测或惩罚项的情况下施加边界条件？
• RQ3 变分傅里叶特征框架能否扩展以支持受限区域中的非高斯似然？
• RQ4 与标准 GP 近似相比，该方法的计算成本和可扩展性如何？
• RQ5 该方法能否在真实世界的空间建模任务中有效整合物理区域约束？

主要发现

• 该方法在复杂、非凸和不连通的二维区域上成功施加了零边界条件，如在不同形状的随机 GP 抽样中所示。
• 在香蕉分类数据集中，当诱导特征数 m 从 4 增加到 64 时，决策边界的对齐程度提高，m=64 时实现了近乎完美的分离。
• 在蜱虫叮咬密度建模任务中，约束的 GP 模型准确预测了荷兰全国的空间强度模式，海面和河流处密度为零，且与观测数据高度吻合。
• 对于 m=100 的二维区域，调和特征分解的设置成本为 4.9±0.1 秒；对于 m=64 的香蕉数据集，设置成本为 10.3±0.4 秒；对于 n=10,000 个观测值，每次预测的推理时间为 0.23 秒。
• 对于具有泊松似然的对数高斯 Cox 过程，该方法在 m=256 个特征和 200×200 网格下实现了稳定训练，生成了物理上合理的密度图。
• 该方法具有高效的可扩展性：预测时间为 O(nm²)，超参数学习时间为 O(m³)，适用于具有物理约束的大规模空间问题。