[论文解读] Bayesian Agglomerative Clustering with Coalescents

Yee Whye Teh, Hal Daumé+1 more|ArXiv.org|Jul 4, 2009

Bayesian Methods and Mixture Models参考文献 11被引用 73

一句话总结

本文提出了一种新颖的贝叶斯凝聚聚类模型，采用Kingman的共祖过程作为分层树结构的先验，实现了高效的贪心与顺序蒙特卡洛推理。该方法通过结合可交换先验的预测一致性与凝聚算法的计算效率，在文档和系统语言学数据上实现了卓越的聚类性能。

ABSTRACT

We introduce a new Bayesian model for hierarchical clustering based on a prior over trees called Kingman's coalescent. We develop novel greedy and sequential Monte Carlo inferences which operate in a bottom-up agglomerative fashion. We show experimentally the superiority of our algorithms over others, and demonstrate our approach in document clustering and phylolinguistics.

研究动机与目标

• 开发一种贝叶斯分层聚类模型，结合可交换先验的预测一致性与凝聚推理的效率。
• 解决现有概率聚类模型的局限性，如缺乏预测语义和对缺失数据处理不佳的问题。
• 通过贪心与顺序蒙特卡洛算法实现高效推理，以自底向上的凝聚方式构建树结构。
• 确保数据点上的诱导分布是可交换的，支持对新数据的连贯扩展。
• 在真实世界数据集（包括NIPS摘要与系统语言学数据）上展示强大的实证性能。

提出的方法

• 将Kingman的共祖过程用作树结构的非参数先验，反向建模数据点的谱系合并过程。
• 采用连续时间、取值为划分的马尔可夫过程，当剩余 $ m $ 条谱系时，每对谱系以速率 $\binom{m}{2}$ 发生共祖。
• 设计一种贪心推理算法（Greedy-Rate1），基于共祖速率选择下一次合并，实现 $ O(n^2) $ 时间复杂度。
• 应用顺序蒙特卡洛（SMC）推理从树的后验分布中抽样，维持一组加权粒子树。
• 在每个分支处使用对数似然比确定最优的平坦聚类切分。
• 对数据进行预处理：仅保留至少出现在100篇NIPS摘要中的词，并将计数转换为二值形式用于聚类。

实验结果

研究问题

• RQ1 Kingman的共祖过程能否在贝叶斯分层聚类框架中作为有效且可交换的聚类树先验？
• RQ2 能否为此模型设计出以凝聚方式自底向上运行的高效贪心与SMC推理算法？
• RQ3 所提出的模型在预测性能与聚类质量方面是否优于现有凝聚聚类方法？
• RQ4 该模型在真实世界数据（如文档集合与语言系谱）上的泛化能力如何？
• RQ5 该模型诱导的底层随机分布是什么？随着数据增加，后验是否收敛到真实分布？

主要发现

• Greedy-Rate1算法实现 $ O(n^2) $ 时间复杂度，聚类质量与其他贪心方法相当，因此是推荐选择。
• 该模型在NIPS摘要中发现了九个有意义的聚类，成功将贝叶斯学习（聚类5）与非贝叶斯学习（聚类7）区分开来，即使存在如Mike Jordan等共同作者。
• 聚类2与3之间的分裂处对数似然比仅为0.105，表明二者高度相似，若阈值稍高则会合并。
• 实证结果表明，该模型在文档聚类与系统语言学应用中均优于其他凝聚聚类算法。
• 该模型的可交换先验支持对新数据的连贯预测，并可自然地嵌入更大规模的概率模型中。
• 理论分析证实了模型的一致性及其与已知过程的联系：当突变速率为 $ \alpha/2 $ 且新状态独立同分布于 $ H $ 时，诱导分布为狄利克雷过程 $ DP(\alpha, H) $。