[论文解读] Gaussian Process Random Fields

David A. Moore, Stuart Russell|arXiv (Cornell University)|Oct 31, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用 10

一句话总结

本文提出高斯过程随机场（GPRF），一种对完整高斯过程边缘似然的可处理近似方法，通过成对势能将局部GPs耦合，以提升平滑性和准确性。该方法实现了大规模数据集上的可扩展、可并行推理——在地震事件定位任务中，其平均定位误差比局部GPs低7%，且在以局部GP结果初始化时性能进一步提升。

ABSTRACT

Gaussian processes have been successful in both supervised and unsupervised machine learning tasks, but their computational complexity has constrained practical applications. We introduce a new approximation for large-scale Gaussian processes, the Gaussian Process Random Field (GPRF), in which local GPs are coupled via pairwise potentials. The GPRF likelihood is a simple, tractable, and parallelizeable approximation to the full GP marginal likelihood, enabling latent variable modeling and hyperparameter selection on large datasets. We demonstrate its effectiveness on synthetic spatial data as well as a real-world application to seismic event location.

研究动机与目标

• 解决因O(n³)复杂度导致在大规模数据集上精确高斯过程推理计算不可行的问题。
• 克服独立局部GPs的强独立性假设，该假设可能导致泛化能力差和不连续性问题。
• 开发一种可处理的、可并行化的全GP边缘似然替代目标，通过成对耦合保留空间相关性。
• 在大规模GP-LVM应用中实现有效的潜变量建模与超参数优化。
• 为贝叶斯委员会机提供一种新解释：即通过GPRF框架实现的GP推理的确定性近似。

提出的方法

• 将输入空间划分为不相交的数据点块，以定义局部GPs，每个局部GPs在其对应块上独立训练。
• 基于核距离（在单个长度尺度内）在相邻块之间引入成对势能，形成马尔可夫随机场结构。
• 构建GPRF目标函数，将局部GP边缘似然与成对耦合项结合，近似全GP对数似然。
• 使用对逆协方差矩阵的确定性近似，使GPRF目标函数可处理且可微分，适用于优化。
• 通过基于梯度的方法，联合优化潜变量（如事件位置）与超参数（如长度尺度、噪声方差）。
• 利用块间并行计算，并使用局部GP结果作为初始化，以加速大规模问题中的收敛。

实验结果

研究问题

• RQ1 能否设计一种结构化的全GP边缘似然近似方法，在计算效率与建模精度之间取得平衡？
• RQ2 通过成对势能耦合局部GPs，相较于独立局部GPs，在空间数据与高维数据上是否能显著提升泛化能力？
• RQ3 在非树状结构划分下，GPRF目标在多大程度上可作为真实GP似然的良好近似？
• RQ4 GPRF框架能否有效应用于地震事件定位等真实世界的大规模GP-LVM问题？
• RQ5 从局部GP结果初始化GPRF是否能在实际中实现更快收敛与更优性能？

主要发现

• 在包含107,556个事件的地震事件定位任务中，GPRF的平均定位误差比最优局部GP模型低7%（12.8km vs 13.7km）。
• 混合方法——使用局部GP结果初始化GPRF——实现了最低的最终误差（12.2km），优于独立的局部GPs和GPRF。
• GPRF框架高度可并行化，支持在大规模数据集上实现可扩展的超参数优化与潜变量推理。
• 使用局部边集（在单个核长度尺度内）相比更密集的边集，实现了更优的性能-时间权衡，后者有时会减慢收敛。
• GPRF为贝叶斯委员会机提供了一种新的确定性解释：即作为GP推理的结构化近似。
• 即使在分区导致非树状结构的情况下，该方法依然有效，表明其在理想化图模型之外也具有鲁棒性。