[论文解读] An Experimental Comparison of Several Clustering and Initialization Methods

Marina Meilă, David Heckerman|arXiv (Cornell University)|Jan 30, 2013

Bayesian Methods and Mixture Models参考文献 10被引用 103

一句话总结

该论文通过使用带有隐藏根节点的朴素贝叶斯模型，实验比较了高维离散数据的聚类算法与初始化方法。EM 算法显著优于 K-means 类似方法和层次聚合聚类，且多种初始化策略——包括无信息先验、扰动边缘分布以及层次聚类——尽管方法不同，却得出了质量相当的聚类结果。

ABSTRACT

We examine methods for clustering in high dimensions. In the first part of the paper, we perform an experimental comparison between three batch clustering algorithms: the Expectation-Maximization (EM) algorithm, a winner take all version of the EM algorithm reminiscent of the K-means algorithm, and model-based hierarchical agglomerative clustering. We learn naive-Bayes models with a hidden root node, using high-dimensional discrete-variable data sets (both real and synthetic). We find that the EM algorithm significantly outperforms the other methods, and proceed to investigate the effect of various initialization schemes on the final solution produced by the EM algorithm. The initializations that we consider are (1) parameters sampled from an uninformative prior, (2) random perturbations of the marginal distribution of the data, and (3) the output of hierarchical agglomerative clustering. Although the methods are substantially different, they lead to learned models that are strikingly similar in quality.

研究动机与目标

• 评估批量聚类算法（EM、胜者为王 EM 和基于模型的层次聚合聚类）在高维离散数据上的性能。
• 研究不同初始化策略对 EM 算法最终聚类质量的影响。
• 确定在高维设置下，不同初始化方法是否会导致相似的模型性能。
• 评估 EM 相较于其他聚类方法的鲁棒性与有效性。

提出的方法

• 本研究采用带有隐藏根节点的朴素贝叶斯模型来建模高维离散变量数据集，包括真实数据和合成数据。
• 评估了三种聚类算法：标准 EM、类似 K-means 的胜者为王 EM 变体，以及基于模型的层次聚合聚类。
• 针对 EM 算法测试了三种初始化方法：从无信息先验中采样、对数据边缘分布进行随机扰动，以及使用层次聚合聚类的输出结果。
• 通过在多个高维离散数据集上的实验比较来评估性能，通过模型拟合度和稳定性来衡量聚类质量。
• 使用期望最大化过程迭代优化 EM 算法，以学习隐式混合模型的参数。
• 层次聚合聚类既作为独立方法使用，也作为 EM 的初始化来源，利用联接准则逐步构建聚类。

实验结果

研究问题

• RQ1 EM、胜者为王 EM 和层次聚合聚类在高维离散数据上的性能表现如何比较？
• RQ2 初始化选择是否显著影响 EM 算法生成的最终聚类结果？
• RQ3 无信息先验、扰动边缘分布和层次聚类这三种初始化方法在引导 EM 达到高质量解方面是否同样有效？
• RQ4 EM 和层次聚合聚类的聚类结果在不同数据集上的质量收敛程度如何？

主要发现

• 在高维离散数据上，EM 算法的聚类质量显著优于胜者为王 EM 变体和层次聚合聚类。
• 尽管概念上存在差异，三种初始化方法——无信息先验、扰动边缘分布和层次聚类——产生的 EM 解质量极为相似。
• 对数据边缘分布进行随机扰动能作为一种简单而有效的初始化策略，获得具有竞争力的结果。
• 使用层次聚合聚类作为 EM 的初始化，其性能与其他初始化技术相当。
• 本研究证明，当应用于高维离散数据时，EM 对初始化具有鲁棒性，不同起始点下的解质量下降可忽略不计。