[论文解读] A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting

Elaheh Rashedi, Abdolreza Mirzaei|arXiv (Cornell University)|May 29, 2018

Face and Expression Recognition参考文献 17被引用 7

一句话总结

该论文提出了一种基于提升的多聚类方法，用于层次聚类，通过加权自助采样迭代生成多样化的层次聚类，并利用一致性相异度矩阵进行组合，从而提高稳定性和聚类质量。实验结果表明，该方法在真实数据集上优于标准层次聚类方法。

ABSTRACT

Bagging and boosting are proved to be the best methods of building multiple classifiers in classification combination problems. In the area of "flat clustering" problems, it is also recognized that multi-clustering methods based on boosting provide clusterings of an improved quality. In this paper, we introduce a novel multi-clustering method for "hierarchical clusterings" based on boosting theory, which creates a more stable hierarchical clustering of a dataset. The proposed algorithm includes a boosting iteration in which a bootstrap of samples is created by weighted random sampling of elements from the original dataset. A hierarchical clustering algorithm is then applied to selected subsample to build a dendrogram which describes the hierarchy. Finally, dissimilarity description matrices of multiple dendrogram results are combined to a consensus one, using a hierarchical-clustering-combination approach. Experiments on real popular datasets show that boosted method provides superior quality solutions compared to standard hierarchical clustering methods.

研究动机与目标

• 解决标准层次聚类方法存在的不稳定性与次优聚类质量问题。
• 将提升理论从平坦聚类扩展到层次聚类，以提高鲁棒性。
• 开发一种多聚类框架，通过迭代采样生成多样化且高质量的层次聚类。
• 通过层次聚类组合方法，将多个层次聚类整合为一个稳定的共识层次结构。
• 通过实证验证该方法在真实世界数据集上相对于传统层次聚类方法的优越性。

提出的方法

• 该方法通过从原始数据集中进行加权随机采样，迭代地生成自助样本。
• 对每个自助样本应用层次聚类算法，生成表示层次聚类的树状图。
• 从每个生成的树状图中提取相异度矩阵，以表示聚类结构。
• 通过层次聚类组合策略，将不同迭代中生成的多个相异度矩阵合并为一个一致性相异度矩阵。
• 从一致性相异度矩阵中推导出最终的共识层次结构，确保聚类的稳定性和质量提升。
• 提升过程通过强调各次迭代中被错误聚类或不稳定的元素，优化整体聚类效果。

实验结果

研究问题

• RQ1 能否有效适配提升原理以改善层次聚类的稳定性和质量？
• RQ2 通过迭代自助采样实现的多聚类在多大程度上增强了层次聚类的鲁棒性？
• RQ3 通过一致性相异度矩阵组合多个层次聚类，在多大程度上优于单一层次聚类？
• RQ4 与标准层次聚类技术相比，该方法在真实数据集上是否实现了更好的聚类质量？
• RQ5 提升过程中权重的设置在多大程度上影响了生成的层次聚类的多样性与质量？

主要发现

• 所提出的基于提升的多聚类方法生成的层次聚类比标准层次聚类方法更加稳定且质量更高。
• 一致性相异度矩阵能够有效将多样化的层次聚类整合为单一、稳健的层次结构。
• 在真实流行数据集上的实验表明，该方法在聚类质量上持续优于基线方法。
• 迭代提升过程成功聚焦于难以聚类的元素，从而实现了更优的整体划分。
• 由于该方法具有集成特性，其在多次运行中表现出更强的稳定性。
• 结果证实，提升理论可有效从平坦聚类扩展到层次聚类，并带来可测量的性能提升。