[论文解读] Efficient Inference in Multi-task Cox Process Models

Virginia Aglietti, Theodoros Damoulas+1 more|arXiv (Cornell University)|May 24, 2018

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出了一种多任务Cox过程模型（MCPM），通过将对数强度视为共享高斯过程（GP）潜在函数的线性组合，并引入由GP分布决定的随机混合权重，来建模相关的点过程。通过推导强度的闭式矩表达式，该方法实现了快速变分推断——比最先进方法快15倍——同时在真实和合成的多任务点过程数据上提升了不确定性量化和预测性能。

ABSTRACT

We generalize the log Gaussian Cox process (LGCP) framework to model multiple correlated point data jointly. The observations are treated as realizations of multiple LGCPs, whose log intensities are given by linear combinations of latent functions drawn from Gaussian process priors. The combination coefficients are also drawn from Gaussian processes and can incorporate additional dependencies. We derive closed-form expressions for the moments of the intensity functions and develop an efficient variational inference algorithm that is orders of magnitude faster than competing deterministic and stochastic approximations of multivariate LGCP, coregionalization models, and multi-task permanental processes. Our approach outperforms these benchmarks in multiple problems, offering the current state of the art in modeling multivariate point processes.

研究动机与目标

• 解决现有多变量对数高斯Cox过程（lgcp）模型中固定线性组合权重所导致的不确定性量化性能差的问题。
• 克服由于多任务lgcp模型具有双重随机性及高维潜在空间而导致的推断计算不可行性问题。
• 开发一种可扩展的推断框架，实现在潜在函数和随机混合权重上的高效后验估计。
• 首次对基于lgcp的模型与基于永久过程（permanental process）的模型在多任务点过程中的表现进行全面实证比较。
• 在大规模真实世界多任务点过程数据集上实现预测准确性和计算效率的最先进性能。

提出的方法

• 将多个相关点过程建模为独立lgcp过程的实现，其中每个任务的对数强度是共享GP潜在函数的线性组合。
• 通过将组合系数建模为独立的高斯过程，引入随机混合权重，从而实现在线性组合中的不确定性传播。
• 推导对数强度的矩生成函数（MGF）的解析表达式，使变分目标中期望的闭式计算成为可能。
• 开发一种变分推断算法，通过利用这些闭式MGF避免蒙特卡洛采样，显著加快收敛速度。
• 使用诱导点近似完整GP后验分布，实现在大规模数据集上的可扩展推断。
• 使用解析期望优化变分下界（证据下界），避免对随机梯度估计的需求。

实验结果

研究问题

• RQ1 在多任务lgcp模型中，与固定或确定性权重相比，随机混合权重是否能改善不确定性量化？
• RQ2 对强度分布的闭式矩表达式是否能实现比现有方法更快、更稳定的变分推断？
• RQ3 与核心化模型、多任务永久过程以及基于MCMC的lgcp模型相比，所提出的MCPM在预测性能和计算效率方面表现如何？
• RQ4 该模型能否在具有复杂交叉相关结构且任务空间分离的情况下，有效实现跨任务信息迁移，特别是在缺失数据设置下？
• RQ5 当任务间相关性为负或微弱时，该模型是否仍保持鲁棒性并避免负迁移？

主要发现

• MCPM模型在合成数据和真实世界数据集上均实现了最先进水平的预测性能，优于包括内在核心化模型（ICM）和基于MCMC的多任务lgcp（mlgcp）在内的基准模型。
• 在btb数据集上，MCPM将推断时间从约30小时（基于MCMC的mlgcp）缩短至约8小时，相比MCMC方法实现了3.75倍的速度提升。
• 在缺失数据实验中，MCPM在样本内和样本外均实现了最高的预期覆盖（EC），且在4项任务中的3项上优于ICM。
• MCPM训练耗时3.18小时（1500个epoch），而ICM耗时18.63小时（1000个epoch），训练时间提速6倍。
• MCPM的预测分布在其90%可信区间内包含了真实计数，而ICM未能做到这一点，证实了其不确定性校准的改进。
• 使用闭式MGF消除了变分目标中对蒙特卡洛采样的需求，相比黑箱变分推断方法，实现了更快、更稳定的优化。