[论文解读] Efficient Bayesian Nonparametric Modelling of Structured Point Processes

Tom Gunter, Chris Lloyd+2 more|arXiv (Cornell University)|Jul 25, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用 12

一句话总结

该论文提出了一种基于潜高斯过程与核函数卷积的贝叶斯非参数模型，用于建模依赖性Cox点过程，以捕捉结构化的强度函数。该方法引入了自适应消去法以实现可扩展的推理，支持跨多个过程的高效并行计算，并在1D和2D真实世界数据（包括Twitter活动和篮球投篮位置）上实现了优越的预测性能。

ABSTRACT

This paper presents a Bayesian generative model for dependent Cox point processes, alongside an efficient inference scheme which scales as if the point processes were modelled independently. We can handle missing data naturally, infer latent structure, and cope with large numbers of observed processes. A further novel contribution enables the model to work effectively in higher dimensional spaces. Using this method, we achieve vastly improved predictive performance on both 2D and 1D real data, validating our structured approach.

研究动机与目标

• 开发一种完全生成式、非参数贝叶斯模型，用于建模多个相关点过程，以捕捉跨多个相关过程的复杂强度结构。
• 实现大规模相关点过程间的可扩展推理，克服传统MCMC方法的计算瓶颈。
• 在统一的概率框架内自然地处理缺失数据与潜在结构。
• 将适用范围扩展至高维点过程数据，其中标准消去法在计算上变得不可行。
• 通过共享潜函数建模过程间依赖关系，提升预测准确性。

提出的方法

• 将强度函数建模为潜高斯过程与核函数卷积的加权和，实现对复杂强度模式的灵活、非参数化表示。
• 对潜高斯过程应用S型变换，以确保强度函数非负，从而构建Sigmoidal Gaussian Cox Process（SGCP）先验。
• 提出“自适应消去法”——一种统一化方法的新型扩展，利用多级速率水平，高效模拟与推断高维空间中的点过程。
• 采用数据增广方案，包含消去后的事件位置，使后验推断可通过MCMC实现，避免了难以处理的积分。
• 通过在共享核结构下解耦潜函数的计算，实现在多个相关过程间的并行化推理，同时保持依赖关系。
• 采用非参数贝叶斯方法联合推断强度函数与潜驱动因子，实现不确定性量化，并增强对缺失数据的鲁棒性。

实验结果

研究问题

• RQ1 如何在非参数贝叶斯框架下建模多个相关点过程，以捕捉其共享的潜在结构？
• RQ2 何种推断方案可实现大规模相关点过程的可扩展、并行化计算，且不损失准确性？
• RQ3 如何将标准消去法扩展，使其适用于高维点过程数据？
• RQ4 与独立建模相比，建模过程间依赖关系在多大程度上提升了预测性能？
• RQ5 所提方法能否有效恢复真实世界事件数据中已知的潜驱动因子（如每日节律、事件特定峰值）？

主要发现

• 在Twitter数据上，所提出的结构化模型在预测对数似然上显著优于独立SGCP和KDE基线模型，平均提升200至300点。
• 在篮球投篮数据上，该模型对DeMer DeRozen的预测对数似然达到410.7，较次优方法高出150余点，展现出在密集、高维数据上的强大性能。
• 自适应消去法实现了对高密度篮球投篮数据的高效推理，而标准消去法在计算上将不可行。
• 潜函数揭示了可解释的模式，如Twitter数据中的每日活动周期和篮球数据中的球场特定热点区域，与已知的行为与空间先验一致。
• 该模型成功捕捉了Twitter数据中的事件特定峰值，如纳尔逊·曼德拉逝世和公共部门罢工事件，表明对外部驱动因子具有敏感性。
• 该推断方案随过程数量的增加而高效扩展，支持并行计算，其效果类似于独立建模，同时保持了过程间的依赖关系。