[论文解读] Large-Scale Cox Process Inference using Variational Fourier Features

St. John, James Hensman|arXiv (Cornell University)|Apr 3, 2018

Gaussian Processes and Bayesian Inference参考文献 18被引用 5

一句话总结

本文提出了一种基于变分傅里叶特征（VFF）的大规模时空Cox过程的可扩展贝叶斯推断方法，实现了无需网格划分的高效建模，可在单张GPU上处理超过100,000个三维事件。通过将VFF与平方根链接函数及Matérn核结合，该方法在单张GPU上实现了鲁棒且高分辨率的推断，克服了传统方法在节点线和计算可扩展性方面的局限。

ABSTRACT

Gaussian process modulated Poisson processes provide a flexible framework for modelling spatiotemporal point patterns. So far this had been restricted to one dimension, binning to a pre-determined grid, or small data sets of up to a few thousand data points. Here we introduce Cox process inference based on Fourier features. This sparse representation induces global rather than local constraints on the function space and is computationally efficient. This allows us to formulate a grid-free approximation that scales well with the number of data points and the size of the domain. We demonstrate that this allows MCMC approximations to the non-Gaussian posterior. We also find that, in practice, Fourier features have more consistent optimization behavior than previous approaches. Our approximate Bayesian method can fit over 100,000 events with complex spatiotemporal patterns in three dimensions on a single GPU.

研究动机与目标

• 实现超越传统网格化或小数据方法局限的大规模时空点过程的可扩展、无网格贝叶斯推断。
• 解决高斯过程调制泊松过程中双重不可行似然的计算不可行性问题。
• 通过改进先验设定与模型设计，缓解由平方根链接函数引起的节点线伪影。
• 将变分推断扩展至支持基于傅里叶特征的时空域中的Matérn族核函数与周期结构。
• 在真实世界数据上验证该方法，处理具有复杂三维模式的数据，如包含超过113,000个事件的波尔图出租车上车数据集。

提出的方法

• 提出一种基于傅里叶特征（VFF）的变分推断框架，用于表示潜在高斯过程，实现函数空间的全局稀疏近似。
• 采用平方根链接函数 λ(·) = f(·)²，使似然中的不可行积分变得可行，避免了网格离散化的需求。
• 引入常数均值函数，以缓解当 f(·) 穿过零点时产生的节点线伪影，提升后验稳定性。
• 在高斯变分推断下推导出后验强度 λ(·) 的闭式近似，支持通过置信区间实现不确定性量化。
• 基于Matérn-5/2谱构造周期性核函数，可与VFF无缝集成，支持对一天中时间周期性的建模。
• 同时采用变分推断与MCMC进行后验近似，后者支持超参数的完整贝叶斯处理及灵活的后验探索。

实验结果

研究问题

• RQ1 变分傅里叶特征能否实现对具有复杂模式的大规模时空Cox过程的可扩展、无网格推断？
• RQ2 在后验分布中，如何缓解由平方根链接函数引起的节点线伪影？
• RQ3 Matérn族核函数及其组合能否在基于VFF的推断框架中有效集成，以提升建模灵活性？
• RQ4 优化器选择与初始化方式如何影响高维、非高斯后验分布中的收敛性与模型质量？
• RQ5 该方法能否在包含超过100,000个事件的三维真实世界数据集上实现准确且具备不确定性的推断？

主要发现

• 该方法成功建模了波尔图地区超过113,000个出租车上车事件，具有复杂的三维时空模式，仅在单张Tesla P100 GPU上运行24–28小时即实现收敛。
• 基于VFF的推断在每步梯度更新中相比RBF + 诱导点（RBF+IP）快30–40倍，50×50 VFF配置下全收敛时间低于50小时，而RBF+IP配置在48小时内未能收敛。
• 引入常数均值函数显著减少了节点线伪影，提升了模型稳定性并降低了优化失败率。
• ELBO值更高的模型并不总是具有更好的似然值，表明ELBO本身作为模型质量的代理指标不可靠，需依赖交叉验证进行人工选择。
• 使用时间周期性核函数可确保00:00与24:00之间的连续性，而未使用该核函数时则无法实现，如附录结果所示。
• 该方法即使在大规模场景下，仍能实现完整的贝叶斯推断（通过MCMC）并基于闭式置信区间实现对强度函数 λ(·) 的不确定性量化。