[论文解读] Beyond Hartigan Consistency: Merge Distortion Metric for Hierarchical Clustering

Justin Eldridge, Mikhail A. Belkin+1 more|arXiv (Cornell University)|Jun 21, 2015

Topological and Geometric Data Analysis参考文献 14被引用 22

一句话总结

本文提出合并畸变度量（merge distortion metric），这是一种用于层次聚类的新型距离度量，用于量化超越Hartigan一致性的收敛性。该文证明，该度量下的收敛性蕴含两个新的理想性质——分离性与最小性，可防止过度分割与不恰当嵌套，并证明在流形上，鲁棒单链聚类与分裂树聚类算法在该度量下具有收敛性。

ABSTRACT

Hierarchical clustering is a popular method for analyzing data which associates a tree to a dataset. Hartigan consistency has been used extensively as a framework to analyze such clustering algorithms from a statistical point of view. Still, as we show in the paper, a tree which is Hartigan consistent with a given density can look very different than the correct limit tree. Specifically, Hartigan consistency permits two types of undesirable configurations which we term over-segmentation and improper nesting. Moreover, Hartigan consistency is a limit property and does not directly quantify difference between trees. In this paper we identify two limit properties, separation and minimality, which address both over-segmentation and improper nesting and together imply (but are not implied by) Hartigan consistency. We proceed to introduce a merge distortion metric between hierarchical clusterings and show that convergence in our distance implies both separation and minimality. We also prove that uniform separation and minimality imply convergence in the merge distortion metric. Furthermore, we show that our merge distortion metric is stable under perturbations of the density. Finally, we demonstrate applicability of these concepts by proving convergence results for two clustering algorithms. First, we show convergence (and hence separation and minimality) of the recent robust single linkage algorithm of Chaudhuri and Dasgupta (2010). Second, we provide convergence results on manifolds for topological split tree clustering.

研究动机与目标

• 为解决Hartigan一致性的局限性，其无法防止层次聚类树中的过度分割与不恰当嵌套。
• 定义新的收敛性质——分离性与最小性，以排除不期望的树结构配置，同时蕴含Hartigan一致性。
• 引入一种可度量且稳定的度量——合并畸变度量，以捕捉聚类树的有意义收敛性。
• 证明在合并畸变度量下的收敛性蕴含分离性与最小性，且在均匀条件下二者互为充要条件。
• 通过证明两种实用算法——鲁棒单链聚类与拓扑分裂树聚类——在黎曼流形上的收敛性，验证该框架的有效性。

提出的方法

• 提出合并畸变度量作为层次聚类树之间的距离，基于聚类过程中合并事件的畸变。
• 将分离性定义为聚类不应过早合并的性质，将最小性定义为不存在不必要合并的性质。
• 利用密度函数的Lipschitz连续性与经验密度估计，控制邻近图与下水平集中的近似误差。
• 应用计算拓扑学结果，基于邻近图与经验密度的水平集构建分裂-聚类树。
• 证明合并畸变度量下的收敛性蕴含分离性与最小性，且在均匀条件下，分离性与最小性共同蕴含度量收敛性。
• 采用浓度不等式与几何论证，证明该度量在底层密度函数的小扰动下具有稳定性。

实验结果

研究问题

• RQ1 Hartigan一致性本身能否确保层次聚类树准确反映真实底层密度结构，而不产生过度分割或不恰当嵌套？
• RQ2 为排除仍满足Hartigan一致性的不期望树结构配置，还需哪些额外性质？
• RQ3 是否存在一种可度量的度量，能捕捉层次聚类树的有意义收敛性，并同时蕴含分离性与最小性？
• RQ4 合并畸变度量能否用于证明实用聚类算法（如鲁棒单链聚类与分裂树聚类）的收敛性？
• RQ5 合并畸变度量在底层密度函数的小扰动下是否具有稳定性？

主要发现

• 合并畸变度量下的收敛性蕴含分离性与最小性，二者共同可排除过度分割与不恰当嵌套。
• 均匀条件下的分离性与最小性等价于合并畸变度量下的收敛性。
• Chaudhuri与Dasgupta（2010）提出的鲁棒单链聚类算法在合并畸变度量下收敛至真实的密度聚类树。
• 在黎曼流形上，基于流形的分裂树聚类算法在样本量增大时，以高概率收敛至真实的高密度聚类树。
• 合并畸变度量在密度函数的小扰动下具有稳定性，确保对估计误差的鲁棒性。
• 对于任意 ε > 0，当参数 r = 2ε 时，所构建的分裂聚类树满足 d(C_f, Ĉ_f,n) ≤ (4c + 1)ε，且当 n → ∞ 时该不等式以概率 1 成立。