[论文解读] Effective Deterministic Initialization for $k$-Means-Like Methods via Local Density Peaks Searching

Fengfu Li, Hong Qiao+1 more|arXiv (Cornell University)|Nov 21, 2016

Statistical Methods and Inference参考文献 28被引用 4

一句话总结

该论文提出了一种用于 $k$-means 类聚类的确定性初始化框架——局部密度峰值搜索（LDPS），可自动估计聚类数 $k$，选择高质量的初始中心，检测异常值，并支持非欧几里得距离。通过利用局部密度和一种新颖的局部独特性指数（LDI），LDPS-means 和 LDPS-medoids 在大规模 $k$ 和非球形数据上均表现出优越的聚类性能，显著减少了迭代次数并提升了准确性，优于标准 $k$-means 和 $k$-medoids。

ABSTRACT

The $k$-means clustering algorithm is popular but has the following main drawbacks: 1) the number of clusters, $k$, needs to be provided by the user in advance, 2) it can easily reach local minima with randomly selected initial centers, 3) it is sensitive to outliers, and 4) it can only deal with well separated hyperspherical clusters. In this paper, we propose a Local Density Peaks Searching (LDPS) initialization framework to address these issues. The LDPS framework includes two basic components: one of them is the local density that characterizes the density distribution of a data set, and the other is the local distinctiveness index (LDI) which we introduce to characterize how distinctive a data point is compared with its neighbors. Based on these two components, we search for the local density peaks which are characterized with high local densities and high LDIs to deal with 1) and 2). Moreover, we detect outliers characterized with low local densities but high LDIs, and exclude them out before clustering begins. Finally, we apply the LDPS initialization framework to $k$-medoids, which is a variant of $k$-means and chooses data samples as centers, with diverse similarity measures other than the Euclidean distance to fix the last drawback of $k$-means. Combining the LDPS initialization framework with $k$-means and $k$-medoids, we obtain two novel clustering methods called LDPS-means and LDPS-medoids, respectively. Experiments on synthetic data sets verify the effectiveness of the proposed methods, especially when the ground truth of the cluster number $k$ is large. Further, experiments on several real world data sets, Handwritten Pendigits, Coil-20, Coil-100 and Olivetti Face Database, illustrate that our methods give a superior performance than the analogous approaches on both estimating $k$ and unsupervised object categorization.

研究动机与目标

• 解决 $k$-means 方法的局限性，包括对初始种子的敏感性、在非球形聚类上的表现不佳，以及需要预先指定 $k$ 的问题。
• 开发一种确定性初始化方法，从几何上选择接近真实聚类中心的高质量聚类中心。
• 利用局部密度和一种新的局部独特性指数（LDI）自动估计聚类数 $k$。
• 通过在聚类前检测并移除异常值，提升对异常值的鲁棒性。
• 将该框架扩展至 $k$-medoids，并采用基于流形的相似性度量，以在复杂数据分布上获得更优性能。

提出的方法

• 该方法引入一种局部密度度量，用于基于数据点邻域特征刻画其密度分布。
• 定义一种局部独特性指数（LDI），用于量化某一点相对于其邻居的独特性，优先选择既密集又孤立的点。
• 将局部密度高且 LDI 值高的点识别为局部密度峰值，并选作初始聚类中心。
• 将局部密度低但 LDI 值高的点识别为异常值，并在聚类前予以排除。
• 将 LDPS 框架与 $k$-means 和 $k$-medoids 结合，分别得到 LDPS-means 和 LDPS-medoids。
• 对于流形结构的数据，该方法在 $k$-medoids 中使用基于图的距离，并以 CW-SSIM 指数作为差异性度量。

实验结果

研究问题

• RQ1 确定性初始化方法是否能通过减少对随机种子选择的敏感性来提升 $k$-means 的性能？
• RQ2 能否利用局部密度和 LDI 实现无需先验知识的聚类数 $k$ 自动估计？
• RQ3 该方法是否能有效在聚类前检测并排除异常值，从而提升鲁棒性？
• RQ4 将 LDPS 与 $k$-medoids 及非欧几里得距离结合，是否能提升在非球形或流形分布数据上的性能？
• RQ5 在真实世界数据集上，该方法在聚类数估计和准确性方面与当前最先进聚类方法相比表现如何？

主要发现

• 与标准 $k$-means 和 $k$-medoids 相比，LDPS-means 和 LDPS-medoids 在真实聚类数 $k^*$ 较大时表现出更优的聚类性能。
• 在 Olivetti 人脸数据库（Oliv.-40）上，与之前工作相比，LDPS-medoids 将错误率 $r_e$ 降低了 15.9%，将误报率 $r_f$ 降低了 25%。
• 在 Oliv.-40 上，LDPS-medoids 实现了 $r_t = 74.0\%$ 的准确率，较基线方法提升了 8.8%。
• 在 Oliv.-10、Oliv.-20 和 Oliv.-30 上，该方法对 $k$ 的估计值始终接近真实值，优于 $x$-means、$dip$-means 和 CFSFDP。
• LDPS-medoids 所需的迭代次数显著少于需数千次随机重启的 $k$-means，却能达到相当或更优的 SSE*。
• 在 LDPS-medoids 中使用流形距离（基于 CW-SSIM 和 $t$-nn 邻域）显著提升了在高维、非球形数据（如人脸图像）上的性能。