[论文解读] Beta-Negative Binomial Process and Exchangeable Random Partitions for Mixed-Membership Modeling

Mingyuan Zhou|arXiv (Cornell University)|Oct 28, 2014

Bayesian Methods and Mixture Models参考文献 9被引用 14

一句话总结

本文引入了β-负二项分布过程（BNBP）作为混合成员建模的非参数贝叶斯先验，推导其可交换划分概率函数（EPPF），以实现完全坍缩的吉布斯推断。该方法通过解析地对无限维β过程和主题权重进行积分，实现了快速、混合良好的采样，并在主题建模中取得了最先进的预测性能。

ABSTRACT

The beta-negative binomial process (BNBP), an integer-valued stochastic process, is employed to partition a count vector into a latent random count matrix. As the marginal probability distribution of the BNBP that governs the exchangeable random partitions of grouped data has not yet been developed, current inference for the BNBP has to truncate the number of atoms of the beta process. This paper introduces an exchangeable partition probability function to explicitly describe how the BNBP clusters the data points of each group into a random number of exchangeable partitions, which are shared across all the groups. A fully collapsed Gibbs sampler is developed for the BNBP, leading to a novel nonparametric Bayesian topic model that is distinct from existing ones, with simple implementation, fast convergence, good mixing, and state-of-the-art predictive performance.

研究动机与目标

• 开发一个统一的、非参数贝叶斯框架用于混合成员建模，将可交换划分概率函数（EPPF）的适用范围从单一群体聚类扩展至多群体场景。
• 推导BNBP的边缘分布，以控制分组数据中可交换随机划分的结构，从而实现完全坍缩的推断。
• 构建一种基于BNBP的新主题模型，该模型可解析地对主题权重和无限维β过程进行积分。
• 提供一种收敛速度快、混合良好的吉布斯采样器，其更新方程具有闭式解，以实现高效的推断。

提出的方法

• 通过随机化群体规模并利用贝叶斯规则，推导出BNBP的可交换簇概率函数（ECPF），从而获得分组数据的EPPF。
• 采用层次化构造方法，结合泊松分布与狄利克雷-多项式分布的混合，以建模群体规模与簇分配的联合分布。
• 应用Palm公式对β过程进行积分，得到仅依赖于簇大小和群体数量的有限维后验分布。
• 开发一种完全坍缩的吉布斯采样器，对β过程、主题权重和无限维参数进行解析积分。
• 采用数据增强和积分技术处理负二项分布，以推导模型参数的闭式条件后验分布。
• 对浓度参数c使用网格吉布斯采样，其取值范围为1/(1+c) ∈ [0.01, 0.99]，因解析形式难以获得。

实验结果

研究问题

• RQ1 β-负二项分布过程（BNBP）能否用于定义分组混合成员数据的合适可交换划分概率函数（EPPF）？
• RQ2 所推导的EPPF是否能实现无需截断β过程中原子数量的完全坍缩吉布斯推断？
• RQ3 BNBP能否支持一种非参数主题模型，实现快速收敛、良好混合，并在预测性能上优于现有模型？
• RQ4 BNBP的EPPF在对群体规模和簇结构的依赖性上，与现有EPPF有何不同？
• RQ5 BNBP模型参数（包括浓度参数c）的闭式条件后验分布为何？

主要发现

• 通过首先将群体规模建模为独立同分布的计数向量之泊松和，再对规模向量进行积分，利用贝叶斯规则推导出BNBP的EPPF。
• 所得EPPF明确描述了潜变量列交换随机计数矩阵的先验分布，其中每一行的和等于对应群体的规模。
• 完全坍缩的吉布斯采样器对β过程、主题权重和无限维参数进行了解析积分，从而实现快速收敛和良好混合。
• BNBP主题模型在紧凑的语料表示下实现了最先进的预测性能，优于现有非参数主题模型。
• 除浓度参数c外，所有参数均推导出闭式更新方程，c通过在离散网格上进行格点吉布斯采样获得。
• BNBP的预测规则可模拟由推导出的EPPF所控制的可交换随机划分，从而在混合成员设置中实现高效推断。