[论文解读] Efficient EM-Variational Inference for Hawkes Process

Feng Zhou, Li, Zhidong+4 more|arXiv (Cornell University)|May 29, 2019

Point processes and geometric inequalities参考文献 23被引用 4

一句话总结

本文提出了一种完全贝叶斯非参数霍克斯过程，利用高斯过程变换来建模基线强度和触发核，作为灵活、平滑的函数。通过在潜在分支结构下将变分推断嵌入EM框架，并引入加速技术，该方法实现了无需网格化的高效、精确推断，在合成数据和真实世界数据上均优于最先进方法。

ABSTRACT

In classical Hawkes process, the baseline intensity and triggering kernel are assumed to be a constant and parametric function respectively, which limits the model flexibility. To generalize it, we present a fully Bayesian nonparametric model, namely Gaussian process modulated Hawkes process and propose an EM-variational inference scheme. In this model, a transformation of Gaussian process is used as a prior on the baseline intensity and triggering kernel. By introducing a latent branching structure, the inference of baseline intensity and triggering kernel is decoupled and the variational inference scheme is embedded into an EM framework naturally. We also provide a series of schemes to accelerate the inference. Results of synthetic and real data experiments show that the underlying baseline intensity and triggering kernel can be recovered without parametric restriction and our Bayesian nonparametric estimation is superior to other state of the arts.

研究动机与目标

• 克服经典霍克斯过程假设基线强度恒定和触发核为参数形式的局限性。
• 开发一种完全贝叶斯非参数模型，实现无需领域网格化的基线强度和触发核的灵活、平滑估计。
• 通过潜在分支结构解耦基线强度与触发核估计的依赖关系，实现此类复杂模型的高效推断。
• 通过降维和证据下界（ELBO）的闭式偏导数，加速EM框架中的变分推断。

提出的方法

• 将基线强度和触发核建模为高斯过程变换，以确保非负性，并实现非参数化、平滑估计。
• 引入潜在分支结构，解耦似然函数中基线强度与触发核之间的依赖关系，从而实现基于EM的推断。
• 将变分推断嵌入EM框架，联合推断强度函数和核函数的后部分布。
• 应用降维技术，降低变分推断过程中高维优化的计算复杂度。
• 推导证据下界（ELBO）的闭式偏导数，以加速EM-变分（EMV）算法中的优化步骤。
• 使用EMV算法，复杂度为O(RN²)，在R轮迭代内实现大规模数据集的可扩展推断。

实验结果

研究问题

• RQ1 完全贝叶斯非参数霍克斯过程模型能否在灵活性和准确性上优于参数化或频率学派非参数替代方法？
• RQ2 如何有效将变分推断嵌入EM框架，以处理基线强度与触发核之间的耦合似然？
• RQ3 哪些加速技术可使霍克斯过程的贝叶斯非参数推断在计算上可行且实用？
• RQ4 该模型在无参数假设下，能在多大程度上恢复复杂、时变的基线强度和非指数型触发核？

主要发现

• 所提出的EM-变分推断（EMV）方法成功恢复了底层基线强度与触发核，且无参数限制，这在具有不同真实函数的合成数据上得到验证。
• 在合成数据Case 1中，EMV对基线强度的估计误差为0.008，对触发核的估计误差为0.015，对数似然为-37.91，优于所有基线方法。
• 在Case 2中，EMV实现了最高的对数似然（96.85）和最低的触发核估计误差（0.002），表明其拟合优度更优。
• 在真实世界数据上，EMV在车辆碰撞数据上的预测准确率达到71.7%，在出租车叫车数据上达到70.4%，显著优于PH（60.6%）和WH（67.3%）等替代方法。
• Q-Q图显示，EMV的模型拟合最接近理想对角线，证实其校准效果优于非齐次泊松过程及基线强度固定的模型。
• 通过闭式导数和降维技术，EMV算法相比基线变分推断实现了20-30%的速度提升，使其在大规模应用中更具实用性。