[论文解读] Clustering Using Isoperimetric Number of Trees

Amir Daneshgar, Ramin Javadi+1 more|arXiv (Cornell University)|Mar 19, 2012

Anomaly Detection Techniques and Applications参考文献 14被引用 3

一句话总结

该论文提出了一种基于图的新型聚类算法，利用最小生成树的等周数实现精确且高效的 O(n log n) 时间聚类。该方法引入了归一化割问题的子划分松弛，使树上的精确 k-聚类成为可能，并通过基于残差的异常值轮廓实现同时的异常值检测，具有理论保证，并在基准数据集上表现出强劲的实验性能。

ABSTRACT

In this paper we propose a graph-based data clustering algorithm which is based on exact clustering of a minimum spanning tree in terms of a minimum isoperimetry criteria. We show that our basic clustering algorithm runs in $O(n \log n)$ and with post-processing in $O(n^2)$ (worst case) time where $n$ is the size of the data set. We also show that our generalized graph model which also allows the use of potentials at vertices can be used to extract a more detailed pack of information as the {\it outlier profile} of the data set. In this direction we show that our approach can be used to define the concept of an outlier-set in a precise way and we propose approximation algorithms for finding such sets. We also provide a comparative performance analysis of our algorithm with other related ones and we show that the new clustering algorithm (without the outlier extraction procedure) behaves quite effectively even on hard benchmarks and handmade examples.

研究动机与目标

• 提出一种基于图论等周性的理论基础坚实且高效的聚类算法，适用于一般数据聚类。
• 通过从划分松弛到子划分，缓解归一化割和谱聚类的局限性，实现自然的异常值检测。
• 利用等周准则在树上提供 k-聚类的多项式时间精确解，克服一般图中 NP-难问题的限制。
• 通过引入带有顶点势的广义图模型，实现聚类与异常值集识别的同步进行。
• 在硬性基准和人工数据集上，与现有方法相比展现出优越的实验性能。

提出的方法

• 该算法从数据的亲和图构建最小生成树（MST），在保持关键连通性的同时降低计算复杂度。
• 应用 k-等周准则——最小化子划分间的归一化流——以定义最优聚类边界，且从划分松弛到子划分。
• 核心方法采用贪心的自底向上策略，在树上识别最优 k-子划分，利用 k-等周问题在树上可多项式时间求解的性质。
• 引入残差数以量化未聚类顶点，从而实现对异常值集的正式定义与检测。
• 通过引入局部缩放和顶点势，增强对数据结构的敏感性，并提高对参数选择的鲁棒性。
• 在 O(n²) 时间内进行后处理，以优化聚类并提取异常值轮廓，支持分层数据相似性分析。

实验结果

研究问题

• RQ1 k-等周问题是否能在树上被精确且高效地求解，从而开启一类新的精确聚类算法？
• RQ2 从划分松弛到子划分如何提升聚类的鲁棒性并实现自然的异常值检测？
• RQ3 等周方法是否能在硬性聚类基准上超越谱聚类和归一化割方法？
• RQ4 顶点势和局部缩放在增强算法检测异常数据点能力方面起什么作用？
• RQ5 残差数如何提供一种形式化且可计算的度量，用于识别数据中的异常值集？

主要发现

• k-等周问题在树上可高效求解，从而在 O(n log n) 时间内实现精确的 k-聚类，这是关键的理论贡献。
• 该算法在 MST 的子树上实现精确聚类，避免了先前方法中使用的迭代划分或谱近似。
• 通过残差数检测异常值集，且通过从 3-PARTITION 的形式化归约证明了该一般问题的 NP-难性。
• 实验结果表明，该算法在硬性基准和人工数据集上表现强劲，包括在不同缩放参数下成功提取异常值。
• 该算法对局部缩放参数保持鲁棒性，而其他方法在异常值检测中需要调参。
• 理论分析确认，在构造的树中，最优子划分的代价等于 1/(B+1)，将解与 3-PARTITION 决策问题联系起来。