[论文解读] Gamma Processes, Stick-Breaking, and Variational Inference

Anirban Roychowdhury, Brian Kulis|arXiv (Cornell University)|Oct 4, 2014

Bayesian Methods and Mixture Models参考文献 18被引用 10

一句话总结

本文提出了一种伽马过程的新型棒断构造，使贝叶斯非参数模型中的高效变分推断成为可能。通过利用泊松过程机制推导速率测度与截断误差界，作者开发了一种可扩展的变分算法（VGP），在大规模数据上的非负矩阵分解任务中，其性能优于基于采样的方法以及使用Beta-Bernoulli先验的变分方法。

ABSTRACT

While most Bayesian nonparametric models in machine learning have focused on the Dirichlet process, the beta process, or their variants, the gamma process has recently emerged as a useful nonparametric prior in its own right. Current inference schemes for models involving the gamma process are restricted to MCMC-based methods, which limits their scalability. In this paper, we present a variational inference framework for models involving gamma process priors. Our approach is based on a novel stick-breaking constructive definition of the gamma process. We prove correctness of this stick-breaking process by using the characterization of the gamma process as a completely random measure (CRM), and we explicitly derive the rate measure of our construction using Poisson process machinery. We also derive error bounds on the truncation of the infinite process required for variational inference, similar to the truncation analyses for other nonparametric models based on the Dirichlet and beta processes. Our representation is then used to derive a variational inference algorithm for a particular Bayesian nonparametric latent structure formulation known as the infinite Gamma-Poisson model, where the latent variables are drawn from a gamma process prior with Poisson likelihoods. Finally, we present results for our algorithms on nonnegative matrix factorization tasks on document corpora, and show that we compare favorably to both sampling-based techniques and variational approaches based on beta-Bernoulli priors.

研究动机与目标

• 解决贝叶斯非参数模型中伽马过程先验缺乏可扩展推断方法的问题。
• 为基于伽马过程的模型开发一种变分推断框架，以替代当前依赖缓慢MCMC方法的现状。
• 通过棒断构造，提供一种构造性、解析可处理的伽马过程表示，从而支持均场变分推断。
• 推导在变分推断中截断无限伽马过程的理论误差界，类似于现有对狄利克雷过程与Beta过程的误差界。
• 在真实世界的非负矩阵分解任务上评估所提方法，并与采样方法及其它变分基线方法进行比较。

提出的方法

• 通过将伽马过程表征为完全随机测度（CRM），利用泊松过程性质推导速率测度，提出一种新颖的伽马过程棒断构造。
• 利用伽马过程的Lévy测度验证棒断构造的正确性，确保其与底层CRM一致。
• 推导截断无限棒断过程的理论误差界，其形式与狄利克雷过程和Beta过程的误差界类似。
• 将截断的棒断表示应用于构建无限伽马-泊松模型的均场变分推断算法（VGP），该模型采用泊松似然。
• 在基线吉布斯采样算法中，采用蒙特卡洛积分实现参数的边缘化，用于比较。
• 实现一种变分算法，通过梯度上升联合优化截断伽马过程权重与模型参数，学习率在10^-4量级。

实验结果

研究问题

• RQ1 能否为伽马过程推导出一种类似于狄利克雷过程与Beta过程的构造性棒断表示？
• RQ2 该棒断构造能否用于推导伽马过程先验的可处理变分推断算法？
• RQ3 在变分推断中截断无限伽马过程会引入何种理论误差？能否对其进行界控？
• RQ4 所提出的变分推断算法（VGP）在真实世界的非负矩阵分解任务中，与基于采样的方法及使用Beta-Bernoulli先验的变分方法相比，在可扩展性与准确性方面表现如何？
• RQ5 VGP算法是否在保持高似然性能的同时，实现显著更快的收敛速度与运行时间，尤其是在大规模数据集上？

主要发现

• VGP算法在所有真实数据集上的保留对数似然得分均高于吉布斯采样器，包括PsyRev（-7.23 vs. -7.45）和KOS，表明泛化能力更强。
• VGP算法在15次迭代内完成收敛，是所有测试方法中收敛速度最快的。
• 在大规模NYT数据集（300,000篇文档）上，VGP的运行速度比VIBP与VBP快几个数量级，每次迭代耗时约45秒，而后者超过3分钟。
• 对于小到中等规模数据集，VIBP因具有闭式更新而表现最佳，但VGP在似然得分上达到或略超VIBP，且收敛速度显著更快。
• VGP算法的性能在运行数小时后对截断因子K的选择具有高度鲁棒性，表明其对截断选择不敏感。
• 基于采样的方法（SGP）运行速度显著较慢（小数据集每次迭代7分钟，NYT数据集约100分钟），且在真实数据上未能达到与变分方法相当的似然得分。