[论文解读] Hierarchical Clustering: Objective Functions and Algorithms

Vincent Cohen-Addad, Varun Kanade+2 more|DSpace@MIT (Massachusetts Institute of Technology)|Apr 7, 2017

Advanced Clustering Algorithms Research参考文献 26被引用 10

一句话总结

本文提出了一套公理化框架，用于定义分层聚类中‘良好’目标函数的标准，刻画了在存在真实聚类时偏好真实聚类的可接受代价函数。该文提供了改进的近似算法——在基于相似度的聚类中实现 $O(\sqrt{\log n})$-近似，在基于相异度的聚类中实现 $3/2$-近似，同时证明了平均链接法可实现 2-近似，并在随机块模型假设下表现出接近最优的性能。

ABSTRACT

Hierarchical clustering is a recursive partitioning of a dataset into clusters at an increasingly finer granularity. Motivated by the fact that most work on hierarchical clustering was based on providing algorithms, rather than optimizing a specific objective, Dasgupta framed similarity-based hierarchical clustering as a combinatorial optimization problem, where a `good' hierarchical clustering is one that minimizes some cost function. He showed that this cost function has certain desirable properties. We take an axiomatic approach to defining `good' objective functions for both similarity and dissimilarity-based hierarchical clustering. We characterize a set of "admissible" objective functions (that includes Dasgupta's one) that have the property that when the input admits a `natural' hierarchical clustering, it has an optimal value. Equipped with a suitable objective function, we analyze the performance of practical algorithms, as well as develop better algorithms. For similarity-based hierarchical clustering, Dasgupta showed that the divisive sparsest-cut approach achieves an $O(\log^{3/2} n)$-approximation. We give a refined analysis of the algorithm and show that it in fact achieves an $O(\sqrt{\log n})$-approx. (Charikar and Chatziafratis independently proved that it is a $O(\sqrt{\log n})$-approx.). This improves upon the LP-based $O(\log n)$-approx. of Roy and Pokutta. For dissimilarity-based hierarchical clustering, we show that the classic average-linkage algorithm gives a factor 2 approx., and provide a simple and better algorithm that gives a factor 3/2 approx.. Finally, we consider `beyond-worst-case' scenario through a generalisation of the stochastic block model for hierarchical clustering. We show that Dasgupta's cost function has desirable properties for these inputs and we provide a simple 1 + o(1)-approximation in this setting.

研究动机与目标

• 形式化并刻画‘良好’分层聚类目标函数的特征，使其偏好自然的真实聚类结构。
• 分析实际分层聚类算法在最坏情况下的性能，特别是平均链接法和基于最稀疏割的方法。
• 为基于相似度和相异度的分层聚类开发更快且性能更优的算法。
• 在广义随机块模型下，通过超越最坏情况的场景评估算法性能。
• 为现有启发式算法建立理论保证，并改进先前的近似界。

提出的方法

• 引入一组适用于相似度图和相异度图的可接受代价函数，满足公理化性质，包括对不连通分量的分离性以及在无结构图上的不变性。
• 采用递归最稀疏割方法进行基于相似度的聚类，通过改进分析证明了 $O(\sqrt{\log n})$-近似，优于先前的 $O(\log n)$ 边界。
• 提出一种新的基于相异度的聚类算法，实现 $3/2$-近似，优于平均链接法在最坏情况下的 2-近似。
• 将 Dasgupta 代价函数应用于广义分层随机块模型（HSBM），证明在该类输入上，简单算法可实现 $1 + o(1)$-近似。
• 采用递归合并策略，证明在所定义目标下，某些聚类为最优，利用图结构与树拓扑之间的双射关系。
• 通过构造最坏情况输入，表明单链接法、完全链接法和二分 2-中心算法的解可能远差于最优解。

实验结果

研究问题

• RQ1 一个良好的分层聚类目标函数应满足哪些公理化性质，以反映自然的聚类结构？
• RQ2 能否通过近似保证理论化现有启发式算法（如平均链接法）？
• RQ3 基于相似度的分层聚类，其最佳可能的最坏情况近似比是多少？能否在 $O(\log n)$ 之外进一步改进？
• RQ4 在真实但非最坏情况的输入（如由分层随机块模型生成的输入）下，算法表现如何？
• RQ5 能否设计出更快且更准确的算法，使其近似比优于当前启发式方法？

主要发现

• 递归最稀疏割算法在基于相似度的分层聚类中实现 $O(\sqrt{\log n})$-近似，优于先前的 $O(\log^{3/2}n)$ 边界。
• 针对基于相异度的聚类提出的新算法实现 $3/2$-近似，优于平均链接法在最坏情况下的 2-近似。
• 平均链接法在基于相异度的聚类中实现 2-近似，且该界在最坏情况下是紧的。
• Dasgupta 代价函数在广义分层随机块模型（HSBM）下表现良好，简单算法在该类输入上可实现 $1 + o(1)$-近似。
• 单链接法、完全链接法和二分 2-中心算法的解值可能为 $O(\text{OPT}/n)$，表明其在最坏情况下可能表现极端糟糕。
• 本文证明，在度量空间中，任何解的值均为 $\Omega(\text{OPT})$，意味着最坏情况下的近似比是有界且有意义的。