[论文解读] Bayesian Nonparametric Poisson Process Allocation

Hongyi Ding, Issei Sato+1 more|arXiv (Cornell University)|May 19, 2017

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

该论文提出贝叶斯非参数泊松过程分配（BaNPPA），一种非参数贝叶斯模型，通过将强度建模为高斯过程衍生函数的无限混合，从时间序列中推断未知数量的潜在函数。为解决变分推断中的权重不可识别性问题，该方法引入基于体积的正则化，实现了在大规模数据集上的高效、可扩展推断，并在合成数据和真实时间序列上表现出强劲的实证性能。

ABSTRACT

Analyzing the underlying structure of multiple time-sequences provides insights into the understanding of social networks and human activities. In this work, we present the \emph{Bayesian nonparametric Poisson process allocation} (BaNPPA), a latent-function model for time-sequences, which automatically infers the number of latent functions. We model the intensity of each sequence as an infinite mixture of latent functions, each of which is obtained using a function drawn from a Gaussian process. We show that a technical challenge for the inference of such mixture models is the unidentifiability of the weights of the latent functions. We propose to cope with the issue by regulating the volume of each latent function within a variational inference algorithm. Our algorithm is computationally efficient and scales well to large data sets. We demonstrate the usefulness of our proposed model through experiments on both synthetic and real-world data sets.

研究动机与目标

• 通过发现未知数量的潜在函数，对多个时间序列中的复杂时间动态进行建模。
• 解决在点过程非参数混合模型中混合权重不可识别的挑战。
• 开发一种计算高效的推断算法，可扩展至大规模数据集。
• 实现无需预先指定潜在函数数量的自动模型复杂度选择。

提出的方法

• 该模型将每个序列的强度表示为从高斯过程先验中抽取的无限多个潜在函数的混合。
• 在混合权重上采用狄利克雷过程先验，以实现对组件数量的非参数推断。
• 采用变分推断框架近似后验分布，并对每个潜在函数的体积施加正则化，以解决权重不可识别性问题。
• 体积正则化项通过惩罚重叠或冗余的潜在函数，提升优化过程中的可识别性。
• 推断算法设计为计算高效，支持大规模时间序列数据的可扩展处理。

实验结果

研究问题

• RQ1 如何对具有未知且可能无限数量潜在函数的时间序列进行建模？
• RQ2 在点过程模型中使用非参数先验时，识别混合权重会面临哪些挑战？
• RQ3 基于体积的正则化能否改善无限混合点过程模型在变分推断中的可识别性？
• RQ4 所提出方法在大规模真实时间序列数据集上的可扩展性如何？

主要发现

• 所提出的 BaNPPA 模型成功推断出时间序列中潜在函数的数量，而无需手动指定。
• 体积正则化有效缓解了权重不可识别性问题，从而实现了更稳定、更具可解释性的推断。
• 该模型在大规模数据集上展现出良好的可扩展性与计算效率，在收敛速度和运行时间方面优于基线方法。
• 在合成数据上的实证评估证实了对真实潜在函数和组件数量的准确恢复。