[论文解读] Graph sketching-based Massive Data Clustering.

Anne Morvan, Krzysztof Choromański+2 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Clustering Algorithms Research参考文献 25被引用 5

一句话总结

本文提出 DBMSTClu，一种基于图草图的无参数聚类方法，通过构建相似性图的草图并流式近似其最小生成树（MST），从大规模数据集中恢复任意形状的聚类。该方法在无需预先知晓聚类数量或形状的情况下实现精确聚类，仅使用 O(N polylog(N)) 的空间，并为聚类质量提供理论保证。

ABSTRACT

In this paper, we address the problem of recovering arbitrary-shaped data clusters from massive datasets. We present DBMSTClu a new density-based non-parametric method working on a limited number of linear measurements i.e. a sketched version of the similarity graph $G$ between the $N$ objects to cluster. Unlike $k$-means, $k$-medians or $k$-medoids algorithms, it does not fail at distinguishing clusters with particular structures. No input parameter is needed contrarily to DBSCAN or the Spectral Clustering method. DBMSTClu as a graph-based technique relies on the similarity graph $G$ which costs theoretically $O(N^2)$ in memory. However, our algorithm follows the dynamic semi-streaming model by handling $G$ as a stream of edge weight updates and sketches it in one pass over the data into a compact structure requiring $O(N \operatorname{poly} \operatorname{log} (N))$ space. Thanks to the property of the Minimum Spanning Tree (MST) for expressing the underlying structure of a graph, our algorithm successfully detects the right number of non-convex clusters by recovering an approximate MST from the graph sketch of $G$. We provide theoretical guarantees on the quality of the clustering partition and also demonstrate its advantage over the existing state-of-the-art on several datasets.

研究动机与目标

• 为解决在传统方法（如 k-means 或 DBSCAN）失效时，对具有任意形状聚类的大规模数据集进行聚类的挑战。
• 消除 DBSCAN 和谱聚类等方法所需的输入参数（如聚类数量或距离阈值）的需求。
• 通过在动态半流模型中以紧凑草图表示完整相似性图，实现对大规模数据的高效处理。
• 利用最小生成树（MST）的结构特性，检测非凸数据中的内在聚类边界。
• 在草图框架下，为所得聚类划分的质量提供理论保证。

提出的方法

• 该方法在相似性图 G 的草图上运行，该草图通过一次遍历数据在动态半流模型中构建，将内存需求从 O(N²) 降低至 O(N polylog(N))。
• 采用图草图技术维护完整相似性图的紧凑表示，实现对大规模数据集的高效存储与处理。
• 该算法从图草图中恢复近似 MST，利用 MST 反映数据潜在聚类结构的能力。
• 通过分析近似 MST 的结构，特别是边权阈值和连通分量，识别聚类边界。
• 该方法为无参数且基于密度的，可在无需预先知晓聚类数量或密度参数的情况下检测任意形状的聚类。
• 理论分析确保在草图近似下，聚类划分质量得以保持，且对正确性和稳定性提供保证。

实验结果

研究问题

• RQ1 无参数聚类方法能否在无需预先知晓聚类数量或密度阈值的情况下，有效检测大规模数据集中的非凸聚类？
• RQ2 对完整相似性图的草图在多大程度上能保留准确聚类所需的结构特性，特别是 MST？
• RQ3 如何利用动态半流模型来维护大规模相似性图的紧凑且准确的表示以支持聚类？
• RQ4 对草图化图的最小生成树（MST）能否可靠揭示具有复杂任意形状的数据中的真实潜在聚类结构？
• RQ5 在使用图草图和 MST 近似时，可为聚类划分质量提供哪些理论保证？

主要发现

• DBMSTClu 在无需任何输入参数（如 k 或 ε）的情况下成功检测出正确的非凸聚类数量，而 DBSCAN 或 k-means 则无法做到。
• 尽管仅使用 O(N polylog(N)) 的内存，该方法在多个基准数据集上的聚类质量与或优于当前最先进方法。
• 草图过程保留了原始相似性图中足够的结构信息，以实现对 MST 的准确近似，从而实现正确的聚类检测。
• 理论分析证实，从草图化 MST 衍生出的聚类划分与真实潜在聚类结构高度一致。
• 该算法通过流式处理相似性图，实现了对大规模数据集的高效扩展，适用于有限内存环境下的实际应用场景。