[论文解读] Fast Bayesian Intensity Estimation for the Permanental Process

Christian Walder, Adrian N. Bishop|arXiv (Cornell University)|Jan 13, 2017

Gaussian Processes and Bayesian Inference被引用 11

一句话总结

本文提出了一种用于永久过程（permanental process）的快速贝叶斯推断方法，该过程是一种在强度平方根上具有高斯过程先验的Cox过程。通过利用再生核希尔伯特空间（RKHS）理论和拉普拉斯近似，该方法在保持相当的预测准确性的同时，相比先前方法实现了数量级的计算加速，为基于诱导点的方法提供了一种更简单、更高效的替代方案。

ABSTRACT

The Cox process is a stochastic process which generalises the Poisson process by letting the underlying intensity function itself be a stochastic process. In this paper we present a fast Bayesian inference scheme for the permanental process, a Cox process under which the square root of the intensity is a Gaussian process. In particular we exploit connections with reproducing kernel Hilbert spaces, to derive efficient approximate Bayesian inference algorithms based on the Laplace approximation to the predictive distribution and marginal likelihood. We obtain a simple algorithm which we apply to toy and real-world problems, obtaining orders of magnitude speed improvements over previous work.

研究动机与目标

• 开发一种计算高效的贝叶斯推断方案，用于永久过程，即具有GP分布的强度平方根的Cox过程。
• 克服现有方法的计算负担，特别是依赖MCMC或诱导点的方法。
• 为Flaxman等人（2017）提出的正则化最大似然方法提供概率泛化。
• 证明该方法在预测性能上可与最先进方法相媲美，但拟合时间显著更短。

提出的方法

• 使用拉普拉斯近似对后验预测分布和边际似然进行高效贝叶斯推断。
• 利用再生核希尔伯特空间（RKHS）理论推导后验的闭式近似，避免使用诱导点。
• 基于平方链接函数 g(z) = ½z²，应用基于正则化最大似然估计器，将GP先验与强度函数关联。
• 利用RKHS H(k, Ω, µ)中的表示定理推导边际似然和预测分布，该定理同时结合了L²范数和RKHS范数。
• 通过核函数的默瑟展开表达正则化核 ˜k(x, y) = Σ (1 / (1 + λᵢ⁻¹)) φᵢ(x)φᵢ(y)，实现高效计算。
• 采用经验贝叶斯方法，通过类型-II最大似然法优化协方差函数中的超参数 a 和 b。

实验结果

研究问题

• RQ1 能否在不依赖诱导点或MCMC的前提下，为永久过程开发一种快速且可扩展的贝叶斯推断方法？
• RQ2 在RKHS框架下，所提出的拉普拉斯近似与现有变分方法和正则化方法相比，在速度和准确性方面表现如何？
• RQ3 正则化项 V(k, Ω, µ) 在边际似然中如何在数据拟合与模型复杂度之间实现平衡？
• RQ4 该方法是否能在合成数据和真实世界点过程数据上实现具有竞争力的预测性能，同时显著快于先前方法？

主要发现

• 所提出的LBPP-G方法在拟合时间上相比VBPP和KS+EC实现了数量级的加速，且在玩具数据和真实世界数据集上均保持了相当的预测性能。
• 在redwood数据集上，LBPP-Cos在预期测试对数似然方面略优于LBPP-G，表明余弦基函数可能具有优势。
• 该方法在所有数据集上均表现出一致的预测准确性，包括煤矿事故、红杉树位置以及肌纤维中的小窝结构。
• 对对数边际似然的分解表明，正则化项 V(k, Ω, µ) 通过平衡数据项 h 有效防止了过拟合。
• 采用类型-II最大似然法进行超参数调优（a, b）的经验贝叶斯程序在真实数据上产生了稳定且校准良好的结果。
• 该方法的简洁性以及无需诱导点的特性，使其相比基于诱导变量的变分方法更易于实现和维护。