[论文解读] Incremental Clustering: The Case for Extra Clusters

Margareta Ackerman, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 24, 2014

Advanced Clustering Algorithms Research参考文献 18被引用 17

一句话总结

本文证明了在标准假设下，增量聚类方法无法检测到“优质”聚类——即每个点到其所属簇中心的距离小于到其他任何簇中心的距离。然而，通过允许额外的簇，作者设计了能够恢复此类聚类细化的算法，证明了簇数的指数级增长（最多达到 $2^{k-1}$）在检测优质 $k$-聚类时既必要又充分，并表明即使在对抗性数据排序下，使用额外中心的随机采样也能检测到具有显著核心的聚类。

ABSTRACT

The explosion in the amount of data available for analysis often necessitates a transition from batch to incremental clustering methods, which process one element at a time and typically store only a small subset of the data. In this paper, we initiate the formal analysis of incremental clustering methods focusing on the types of cluster structure that they are able to detect. We find that the incremental setting is strictly weaker than the batch model, proving that a fundamental class of cluster structures that can readily be detected in the batch setting is impossible to identify using any incremental method. Furthermore, we show how the limitations of incremental clustering can be overcome by allowing additional clusters.

研究动机与目标

• 正式分析增量聚类方法在检测特定聚类结构方面的局限性。
• 阐明标准增量方法为何无法恢复“优质”聚类——即每个点到其自身簇的距离小于到任何其他簇的距离。
• 探究是否可通过允许额外簇来克服这些局限性，从而实现对有意义聚类结构的检测。
• 设计并分析利用额外簇检测目标聚类细化的算法，适用于各种结构假设。
• 建立增量检测优质聚类所需中心数目的理论下界。

提出的方法

• 提出基于对称距离函数的增量聚类形式化框架，定义聚类、细化和可聚类性等关键概念。
• 引入“优质”聚类的概念，即每个点到其自身簇的距离小于到其他任何簇的距离，并证明无任何增量方法可检测此类聚类。
• 设计一种增量算法，通过单链聚类和自底向上的选择策略，维护 $2^{k-1}$ 个中心，确保每个簇至少保留一个代表。
• 引入“候选点”子程序，通过遍历单链聚类树状图，将一组点缩减至最多 $2^{k-1}$ 个代表点，选择与根节点距离小于 $k$ 的点。
• 分析在随机与对抗性排序下的顺序 $k$-均值算法，表明当使用足够多中心时，该算法能以高概率恢复凸性优质聚类的细化。
• 提出一种随机子采样算法，维护 $\ell$ 个中心，即使在对抗性数据排序下，也能检测到包含 $\beta$-比例点的核心聚类的细化。

实验结果

研究问题

• RQ1 增量聚类方法能否检测‘优质’聚类，即每个点到其自身簇的距离小于到其他任何簇的距离？
• RQ2 增量算法检测优质 $k$-聚类的细化所需的最少中心数是多少？
• RQ3 在对抗性数据排序下，增量方法能否检测到具有显著核心（不一定是完整簇）的聚类？
• RQ4 当检测优质或凸性优质聚类的细化时，顺序 $k$-均值算法的性能如何依赖于数据排序？
• RQ5 当允许额外簇时，是否存在一类可被增量方法检测的通用聚类结构？

主要发现

• 根据定理 3.8，任何增量聚类方法都无法检测‘优质’$k$-聚类，该结果确立了增量模型的根本局限性。
• 根据定理 5.3，使用 $2^{k-1}$ 个中心的增量算法可检测任意优质 $k$-聚类的细化，且根据定理 5.4，该界是紧致的。
• 根据定理 4.4，顺序 $k$-均值算法无法检测完美聚类（簇间最小距离大于簇内最大直径）。
• 当数据随机排序时，使用 $\ell \geq \Omega((\log k)/\beta)$ 个中心的顺序 $\ell$-均值算法，以至少 $1 - ke^{-\beta\ell}$ 的概率检测到凸性优质聚类的细化，如定理 5.6 所示。
• 根据定理 5.10，随机子采样算法即使在对抗性排序下，也能以 $1 - ke^{-\beta\ell}$ 的概率检测到包含 $\beta$-比例核心的聚类的细化。
• 如定理 5.4 所证明，检测优质聚类所需中心数中对 $k$ 的指数依赖性（$2^{k-1}$）是不可避免的。