[论文解读] An Improved Cost Function for Hierarchical Cluster Trees

Dingkang Wang, Yusu Wang|arXiv (Cornell University)|Dec 6, 2018

Advanced Clustering Algorithms Research参考文献 6被引用 8

一句话总结

本文提出了一种新的层次聚类树代价函数，该函数能更好地反映相似性图中固有的层次结构。与Dasgupta原始代价函数不同，新函数在且仅在图具有“完美HC-结构”时赋予最优代价1，从而实现更清晰的解释性，并在具有此类结构的图上实现多项式时间计算。

ABSTRACT

Hierarchical clustering has been a popular method in various data analysis applications. It partitions a data set into a hierarchical collection of clusters, and can provide a global view of (cluster) structure behind data across different granularity levels. A hierarchical clustering (HC) of a data set can be naturally represented by a tree, called a HC-tree, where leaves correspond to input data and subtrees rooted at internal nodes correspond to clusters. Many hierarchical clustering algorithms used in practice are developed in a procedure manner. Dasgupta proposed to study the hierarchical clustering problem from an optimization point of view, and introduced an intuitive cost function for similarity-based hierarchical clustering with nice properties as well as natural approximation algorithms. We observe that while Dasgupta's cost function is effective at differentiating a good HC-tree from a bad one for a fixed graph, the value of this cost function does not reflect how well an input similarity graph is consistent to a hierarchical structure. In this paper, we present a new cost function, which is developed based on Dasgupta's cost function, to address this issue. The optimal tree under the new cost function remains the same as the one under Dasgupta's cost function. However, the value of our cost function is more meaningful. The new way of formulating the cost function also leads to a polynomial time algorithm to compute the optimal cluster tree when the input graph has a perfect HC-structure, or an approximation algorithm when the input graph 'almost' has a perfect HC-structure. Finally, we provide further understanding of the new cost function by studying its behavior for random graphs sampled from an edge probability matrix.

研究动机与目标

• 为解决Dasgupta代价函数的局限性，该函数无法反映图是否本质上支持层次结构。
• 开发一种代价函数，使层次聚类树最优性的取值更具可解释性和意义。
• 确保新代价函数下的最优树与Dasgupta函数下的最优树保持一致，从而保留理想的结构特性。
• 在输入图具有完美层次结构时，实现最优树的多项式时间计算。
• 为分析代价函数在从边概率矩阵生成的随机图上的行为，提供理论框架。

提出的方法

• 新代价函数作为Dasgupta原始代价函数的归一化变体推导得出，通过缩放以反映结构一致性。
• 当且仅当输入图允许存在与所有三元组关系一致的层次聚类树时，最优代价被定义为精确值1。
• 该方法引入一个基础代价函数 baseC(G)，用于捕捉在图的边概率分布下随机树的期望代价。
• 定义一个比率代价函数 ρ*G = totalC(T*) / baseC(G)，以将最优树的总代价相对于期望基础代价进行归一化。
• 理论分析使用集中不等式来界定比率代价与其期望的偏离，建立概率保证。
• 算法部分利用新代价函数设计了针对具有完美HC-结构图的多项式时间算法，以及针对接近完美情况的近似算法。

实验结果

研究问题

• RQ1 能否设计一种代价函数，使其最优值能直接指示相似性图中是否存在完美层次结构？
• RQ2 如何对代价函数进行归一化，以提供更易解释的层次聚类质量量度？
• RQ3 在何种条件下，可利用新代价函数在多项式时间内计算最优层次聚类树？
• RQ4 新代价函数在从给定边概率矩阵采样的随机图上表现如何？
• RQ5 新代价函数能否支持对几乎但不完全呈现层次结构的图的近似算法？

主要发现

• 当且仅当输入图具有完美层次聚类（HC）结构时，即存在与所有三元组关系一致的HC-树，新代价函数的最优代价恰好为1。
• 对于具有完美HC-结构的图，可利用新代价函数在多项式时间内计算最优树。
• 当输入图接近完美HC-结构时，该方法可提供最优树的近似算法。
• 对于从边概率矩阵生成的随机图，当所有边具有相同概率p时，比率代价ρ*G收敛于(1+o(1)) · 2 / (3p − p²)。
• 随着簇内边概率p的增加，比率代价ρ*G减小，表明更高的内部相似性增强了层次信号。
• 偏导数分析表明，增加p会降低ρ*G，而q（簇间边概率）对比率代价的影响更复杂，呈非单调性，且在q = p/3处存在临界点。