[论文解读] An Alternative Prior Process for Nonparametric Bayesian Clustering

Hanna Wallach, Shane T. Jensen+2 more|arXiv (Cornell University)|Jan 3, 2008

Bayesian Methods and Mixture Models参考文献 27被引用 45

一句话总结

本文提出均匀过程作为狄利克雷过程和皮特曼-约尔过程在非参数贝叶斯聚类中的替代方案，通过避免‘富者愈富’特性，实现更均衡的聚类规模分布。尽管缺乏可交换性，该方法在文档聚类任务中展现出更优的预测性能，其结论通过渐近分析、模拟实验以及在一份专利数据集上的实证评估得到验证。

ABSTRACT

Prior distributions play a crucial role in Bayesian approaches to clustering. Two commonly-used prior distributions are the Dirichlet and Pitman-Yor processes. In this paper, we investigate the predictive probabilities that underlie these processes, and the implicit "rich-get-richer" characteristic of the resulting partitions. We explore an alternative prior for nonparametric Bayesian clustering -- the uniform process -- for applications where the "rich-get-richer" property is undesirable. We also explore the cost of this process: partitions are no longer exchangeable with respect to the ordering of variables. We present new asymptotic and simulation-based results for the clustering characteristics of the uniform process and compare these with known results for the Dirichlet and Pitman-Yor processes. We compare performance on a real document clustering task, demonstrating the practical advantage of the uniform process despite its lack of exchangeability over orderings.

研究动机与目标

• 为解决狄利克雷过程和皮特曼-约尔过程中固有的‘富者愈富’特性，该特性导致少数大聚类，可能在某些应用中与先验信念不符。
• 研究均匀过程作为替代先验，避免此类偏差，促进更均衡的聚类规模分布。
• 正式分析均匀过程的渐近特性和有限样本聚类特性，包括其不可交换性。
• 在固定聚类顺序下，开发一种正确的吉布斯采样算法，尽管该模型不具备可交换性。
• 在真实世界文档聚类任务中评估均匀过程的实际性能，并与狄利克雷过程模型进行比较。

提出的方法

• 均匀过程被定义为一种对划分的先验，其中给定大小的所有划分具有相等的概率，与狄利克雷和皮特曼-约尔过程的偏好附加机制形成对比。
• 作者推导了在均匀过程中期望聚类数的渐近行为，表明其随样本量N呈平方根增长。
• 提出一种新颖的吉布斯采样算法，在固定聚类分配顺序下保持正确性，尽管模型本身不具备可交换性。
• 该方法采用‘从左到右’的近似算法计算保留文档的对数边际似然，从而实现预测性能评估。
• 通过模拟研究和在碳纳米技术专利上的真实世界文档聚类任务，将均匀过程与狄利克雷过程和皮特曼-约尔过程进行比较。
• 评估使用保留数据的似然作为主要指标，通过多次吉布斯采样运行和数据排列的平均，以确保结果稳健。

实验结果

研究问题

• RQ1 均匀过程是否相比狄利克雷过程和皮特曼-约尔过程产生更均衡的聚类规模分布？
• RQ2 在均匀过程中，期望聚类数的渐近特性如何？
• RQ3 均匀过程缺乏可交换性如何影响推理和模型性能？
• RQ4 均匀过程在真实世界聚类任务中是否能实现比狄利克雷过程更优的预测性能？
• RQ5 均匀过程的性能对浓度参数θ的敏感度如何？

主要发现

• 均匀过程在期望聚类数上表现出随样本量N的平方根增长，与狄利克雷过程的对数增长和皮特曼-约尔过程的幂律增长形成鲜明对比。
• 模拟结果表明，均匀过程产生的聚类规模分布显著比狄利克雷和皮特曼-约尔过程的‘富者愈富’行为更均衡。
• 尽管缺乏可交换性，均匀过程模型对聚类分配顺序的排列表现出高度鲁棒性，不同顺序下预测性能的变异性极低。
• 在碳纳米技术专利的文档聚类任务中，均匀过程在所有测试的浓度参数θ值下，均持续获得比狄利克雷过程更高的保留文档对数概率。
• 对于每个θ值，均匀过程产生的平均聚类数均高于狄利克雷过程，表明其聚类结构更具均衡性。
• 基于均匀过程的模型展现出更优的预测性能，其未见保留文档的平均对数概率更高，表明泛化能力更强。