[论文解读] Efficient Parameter-free Clustering Using First Neighbor Relations

M. Saquib Sarfraz, Vivek Sharma+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Clustering Algorithms Research参考文献 53被引用 16

一句话总结

该论文提出FINCH，一种完全无参数的聚类算法，利用最近邻关系在无需距离阈值、聚类数量或超参数的情况下发现数据中的自然分组。通过基于最近邻链递归合并聚类，FINCH实现了高准确率和可扩展性，在包含最多810万条样本的数据集上优于现有方法，同时保持O(N log N)的低计算复杂度。

ABSTRACT

We present a new clustering method in the form of a single clustering equation that is able to directly discover groupings in the data. The main proposition is that the first neighbor of each sample is all one needs to discover large chains and finding the groups in the data. In contrast to most existing clustering algorithms our method does not require any hyper-parameters, distance thresholds and/or the need to specify the number of clusters. The proposed algorithm belongs to the family of hierarchical agglomerative methods. The technique has a very low computational overhead, is easily scalable and applicable to large practical problems. Evaluation on well known datasets from different domains ranging between 1077 and 8.1 million samples shows substantial performance gains when compared to the existing clustering techniques.

研究动机与目标

• 开发一种无需用户定义超参数（如距离阈值或聚类数量）的聚类算法。
• 解决现有聚类方法（尤其是谱聚类和层次聚类）在大规模数据集上的可扩展性限制。
• 仅利用最近邻信息，在多样化数据领域中发现自然且高纯度的聚类。
• 实现高效、快速且低开销的聚类，适用于包含数百万样本的实际应用场景。
• 提供理论基础坚实的递归合并机制，无论数据集大小，均能实现快速收敛。

提出的方法

• 该算法基于一个单一的聚类方程，利用每个数据点的最近邻来形成连接样本的初始链。
• 采用递归凝聚式合并过程，每个样本与其最近邻连接，通过迭代合并形成聚类。
• 该方法避免计算完整的成对距离矩阵，将计算复杂度降低至O(N log N)，内存使用量降低至O(N)。
• 聚类合并仅依赖最近邻关系，无需相似度阈值或预设聚类数量。
• 由于链形成过程的指数收敛特性，该算法在固定少量步骤（4–10步）内收敛，与数据集大小无关。
• 通过检测最近邻的长链，利用数据的内在结构，自然揭示潜在的聚类边界。

实验结果

研究问题

• RQ1 是否可以完全不依赖超参数（如距离阈值或聚类数量）实现聚类？
• RQ2 仅依靠最近邻关系是否能可靠地揭示多样化数据领域中的自然分组？
• RQ3 聚类算法能否在包含数百万样本的数据集上实现高效扩展，同时保持高纯度和高准确率？
• RQ4 基于最近邻链的递归合并是否相比传统层次聚类方法具有更快的收敛速度和更优的聚类质量？
• RQ5 当基线方法失效时，该算法是否仍能恢复出良好分离的聚类，尤其是在高维特征空间中？

主要发现

• FINCH在MNIST_10k和MNIST_70k数据集上实现了超过99%的准确率，与CNN模型的分类准确率相当，尽管未使用标签或超参数。
• 对于包含最多810万条样本的数据集，FINCH仅在5–6步内收敛，每一步均生成有效划分且聚类纯度极高。
• 在1077个样本的数据集中，FINCH在第4步即发现真实的8聚类结构，聚类数从1077减少至3，准确率极高。
• FINCH仅需O(N)内存和O(N log N)时间，显著优于谱聚类（O(N³)）和层次聚类（O(N² log N)）。
• 该方法在多个领域均表现稳健，包括图像像素、生物测量、文本特征和CNN嵌入，性能一致可靠。
• FINCH无法形成大小为1的单点聚类，因为每个点始终与最近邻相连，因此聚类最小大小为2。