[论文解读] Clustering by Deep Nearest Neighbor Descent (D-NND): A Density-based Parameter-Insensitive Clustering Method

Teng Qiu, Yongjie Li|arXiv (Cornell University)|Dec 7, 2015

Advanced Clustering Algorithms Research参考文献 32被引用 5

一句话总结

本文提出深度最近邻下降（D-NND），一种基于密度的层次聚类方法，通过迭代最近邻优化逐层学习潜在聚类结构，避免了密度估计中的过度平滑与欠平滑问题。该方法对超参数的敏感度极低，展现出在多样化数据集上强大的可靠性与准确性。

ABSTRACT

Most density-based clustering methods largely rely on how well the underlying density is estimated. However, density estimation itself is also a challenging problem, especially the determination of the kernel bandwidth. A large bandwidth could lead to the over-smoothed density estimation in which the number of density peaks could be less than the true clusters, while a small bandwidth could lead to the under-smoothed density estimation in which spurious density peaks, or called the "ripple noise", would be generated in the estimated density. In this paper, we propose a density-based hierarchical clustering method, called the Deep Nearest Neighbor Descent (D-NND), which could learn the underlying density structure layer by layer and capture the cluster structure at the same time. The over-smoothed density estimation could be largely avoided and the negative effect of the under-estimated cases could be also largely reduced. Overall, D-NND presents not only the strong capability of discovering the underlying cluster structure but also the remarkable reliability due to its insensitivity to parameters.

研究动机与目标

• 为解决基于密度的聚类中带宽选择带来的问题，该问题常导致密度估计出现过度平滑或涟漪噪声。
• 开发一种对参数选择具有鲁棒性的聚类方法，特别是对核带宽的敏感性，这通常会削弱传统基于密度的方法。
• 即使在具有不同密度分布的复杂高维数据中，也能准确发现真实的聚类结构。
• 通过分层的、逐层学习机制，减轻过度平滑和欠平滑密度估计的负面影响。
• 提供一种可靠且对参数不敏感的聚类解决方案，在无需人工调参的情况下，可在多样化数据集中保持高性能。

提出的方法

• D-NND 采用分层的、逐层优化过程，通过迭代识别最近邻来近似局部密度结构。
• 在每一层，算法使用 k-最近邻方法计算局部密度估计，避免显式估计核带宽。
• 该方法采用深度优先搜索策略，从高密度区域向外围传播聚类分配，从而保持聚类边界的清晰。
• 聚类分配通过在每一步选择局部密度最高的最近邻来确定，从而增强对噪声的稳定性。
• 算法根据局部密度动态调整邻域大小，降低对全局参数设置的敏感性。
• D-NND 集成了一种合并策略，基于邻近性和密度连续性将聚类合并，从而增强结构一致性。

实验结果

研究问题

• RQ1 能否设计一种对参数选择（尤其是核带宽）具有鲁棒性的聚类方法，以应对密度估计中的挑战？
• RQ2 在聚类过程中，如何减轻密度估计中的过度平滑与欠平滑问题？
• RQ3 分层的、逐层学习的方法是否能有效捕捉复杂聚类结构，而无需显式进行密度估计？
• RQ4 D-NND 在准确性和稳定性方面相较于传统基于密度的聚类方法，其性能提升程度如何？
• RQ5 该方法在具有不同聚类形状和密度分布的数据集中是否能保持一致的性能表现？

主要发现

• D-NND 显著减少了由欠平滑密度估计引起的虚假密度峰（‘涟漪噪声’）现象。
• 该方法对参数设置表现出极强的不敏感性，在广泛的带宽和 k 值范围内均保持高聚类准确率。
• 通过迭代最近邻优化，D-NND 有效捕捉了高维数据中复杂的非球形聚类结构。
• 实证评估表明，D-NND 在基准数据集上的聚类 F1 分数和调整兰德指数方面优于传统基于密度的方法（如 DBSCAN 和均值漂移）。
• 分层的、逐层学习过程使得聚类分配在低密度区域或重叠聚类区域中仍保持稳定与一致。
• D-NND 在具有不同聚类大小、密度和形状的数据集中均表现出可靠性能，验证了其鲁棒性与泛化能力。