[论文解读] Combinatorial clustering and the beta negative binomial process

Tamara Broderick, Lester Mackey+2 more|arXiv (Cornell University)|Nov 8, 2011

Bayesian Methods and Mixture Models参考文献 41被引用 7

一句话总结

本文提出负二项分布过程（NBP）作为非参数贝叶斯先验，用于建模个体可属于多个类别的潜在类别混合，且各类别成员数量可变。通过利用狄利克雷过程与NBP之间的共轭性，作者构建了贝塔-负二项分布过程（BNBP）与分层BNBP（HBNBP），实现了高效的MCMC推断，并在图像分割与文档分析任务中表现出色，HBNBP的平均准确率达到79%，优于LDA的76%。

ABSTRACT

We develop a Bayesian nonparametric approach to a general family of latent class problems in which individuals can belong simultaneously to multiple classes and where each class can be exhibited multiple times by an individual. We introduce a combinatorial stochastic process known as the negative binomial process (NBP) as an infinite-dimensional prior appropriate for such problems. We show that the NBP is conjugate to the beta process, and we characterize the posterior distribution under the beta-negative binomial process (BNBP) and hierarchical models based on the BNBP (the HBNBP). We study the asymptotic properties of the BNBP and develop a three-parameter extension of the BNBP that exhibits power-law behavior. We derive MCMC algorithms for posterior inference under the HBNBP, and we present experiments using these algorithms in the domains of image segmentation, object recognition, and document analysis.

研究动机与目标

• 解决传统聚类方法在潜在类别模型中仅允许单一类别归属的局限性，实现个体在多个类别中的多重归属。
• 构建一个非参数贝叶斯框架，用于建模个体可多次展现特征的基于计数的混合模型。
• 建立贝塔过程与负二项分布过程之间的共轭关系，实现无限维模型中后验推断的可处理性。
• 在真实世界应用中，如图像分割与文档分析中，验证HBNBP的有效性。
• 分析所提模型的渐近行为及其幂律特性。

提出的方法

• 提出负二项分布过程（NBP）作为混合模型中计数向量的无限维先验。
• 建立贝塔过程与NBP之间的共轭关系，导出贝塔-负二项分布过程（BNBP）。
• 基于BNBP构建分层模型（HBNBP），在共享特征的同时允许个体具有特定的计数。
• 推导HBNBP下的MCMC算法，实现后验推断的可扩展计算。
• 提出BNBP的三参数扩展，以建模特征计数中的幂律行为。
• 在真实世界数据集上，将HBNBP应用于图像块分类与文档建模任务。

实验结果

研究问题

• RQ1 非参数贝叶斯模型能否有效表示个体作为具有可变计数的多个潜在类别的混合？
• RQ2 贝塔过程与负二项分布过程之间的共轭性是否能实现无限维模型中后验推断的可处理性？
• RQ3 BNBP及其三参数扩展的渐近特性在幂律行为方面与现有模型相比如何？
• RQ4 HBNBP能否在图像分割与目标识别任务中超越经典模型（如LDA）？
• RQ5 在实际应用中，HBNBP模型对超参数设定的敏感性如何？

主要发现

• HBNBP模型在MSRC-v1图像数据库上的平均目标类别准确率达到79%，优于LDA的76%。
• HBNBP模型对超参数变化表现出鲁棒性，在参数值数个数量级变化范围内均保持近似恒定的性能。
• BNBP的三参数扩展表现出幂律行为，适用于建模重尾特征计数分布。
• HBNBP在图像分割与目标识别任务中表现优异，混淆矩阵显示多数类别的精确度较高。
• 贝塔过程与NBP之间的共轭性支持了高效的MCMC推断，使高维设置下的后验计算具备可扩展性。
• HBNBP在文档分析与图像分析任务中为主题模型与LDA提供了可行的替代方案。