[论文解读] Model-Based Hierarchical Clustering

Shivakumar Vaithyanathan, Byron Dom|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 10被引用 66

一句话总结

本文提出了一种基于模型的分层聚类方法，利用贝叶斯推断联合学习聚类结构、特征分布和层次深度。通过在聚类间对特征建模为唯一或共享分布，该方法通过边缘似然最大化自动确定最优聚类，展示了在文档和合成数据上的优异性能。

ABSTRACT

We present an approach to model-based hierarchical clustering by formulating an objective function based on a Bayesian analysis. This model organizes the data into a cluster hierarchy while specifying a complex feature-set partitioning that is a key component of our model. Features can have either a unique distribution in every cluster or a common distribution over some (or even all) of the clusters. The cluster subsets over which these features have such a common distribution correspond to the nodes (clusters) of the tree representing the hierarchy. We apply this general model to the problem of document clustering for which we use a multinomial likelihood function and Dirichlet priors. Our algorithm consists of a two-stage process wherein we first perform a flat clustering followed by a modified hierarchical agglomerative merging process that includes determining the features that will have common distributions over the merged clusters. The regularization induced by using the marginal likelihood automatically determines the optimal model structure including number of clusters, the depth of the tree and the subset of features to be modeled as having a common distribution at each node. We present experimental results on both synthetic data and a real document collection.

研究动机与目标

• 开发一种统一的基于模型的分层聚类方法，将特征分布建模与聚类层次结构学习相结合。
• 通过边缘似然正则化，自动确定最优聚类数、树深度和特征划分。
• 使特征在聚类间具有唯一或共享的分布，以反映层次关系。
• 在文档聚类中应用该模型，使用多项分布似然和狄利克雷先验。
• 在合成数据和真实世界文档集合上证明该方法的有效性。

提出的方法

• 基于贝叶斯分析，构建一个联合先验，涵盖聚类分配和特征分布的分层聚类目标。
• 采用两阶段流程：首先进行平坦聚类，然后进行改进的凝聚合并，结合特征分布一致性检查。
• 将特征建模为在层次结构的子树中具有聚类特定或共享分布。
• 对文档数据使用狄利克雷先验对多项分布特征分布进行建模。
• 使用边缘似然作为正则化项，以选择最优模型结构，包括聚类数量和层次深度。
• 通过评估哪些特征在合并聚类中保持一致的分布，将特征划分整合到合并过程中。

实验结果

研究问题

• RQ1 如何通过统一的概率模型联合学习分层聚类结构和特征分布模式？
• RQ2 共享特征分布在此类有意义的分层分组中起到什么作用？
• RQ3 边缘似然能否自动确定最优聚类深度和聚类数，而无需人工调参？
• RQ4 与基线分层聚类方法相比，该模型在文档聚类中的表现如何？
• RQ5 该模型在分层结构中对复杂特征集划分的捕捉程度如何？

主要发现

• 该模型通过边缘似然最大化自动确定最优聚类数和层次深度，消除了对人工参数调优的需求。
• 该方法成功识别出在聚类间具有共享分布的特征子集，与层次分组一致。
• 在文档聚类任务中，该模型相较于标准分层聚类基线方法，实现了具有竞争力或更优的性能。
• 该方法在合成数据上泛化良好，能正确恢复已知的聚类和特征分布结构。
• 两阶段流程——先平坦聚类，再基于模型感知的合并——提高了分层结构发现的可扩展性和准确性。
• 使用狄利克雷先验和多项分布似然，能够有效建模高维离散数据（如文本）