[论文解读] Pruning nearest neighbor cluster trees

Samory Kpotufe, Ulrike von Luxburg|arXiv (Cornell University)|May 3, 2011

Data Management and Algorithms参考文献 13被引用 30

一句话总结

本文提出了一种针对k-最近邻（k-NN）图的新颖剪枝方法，可在有限样本设置下保证移除所有虚假聚类结构，同时保留显著聚类。通过按k-NN半径递增的顺序迭代移除点，该方法构建了一个一致的、嵌套的子图层次结构，能够可靠地估计底层数据分布的真实聚类树，为聚类中的聚类树恢复提供了首个有限样本保证。

ABSTRACT

Nearest neighbor (k-NN) graphs are widely used in machine learning and data mining applications, and our aim is to better understand what they reveal about the cluster structure of the unknown underlying distribution of points. Moreover, is it possible to identify spurious structures that might arise due to sampling variability? Our first contribution is a statistical analysis that reveals how certain subgraphs of a k-NN graph form a consistent estimator of the cluster tree of the underlying distribution of points. Our second and perhaps most important contribution is the following finite sample guarantee. We carefully work out the tradeoff between aggressive and conservative pruning and are able to guarantee the removal of all spurious cluster structures at all levels of the tree while at the same time guaranteeing the recovery of salient clusters. This is the first such finite sample result in the context of clustering.

研究动机与目标

• 解决由抽样变异性引起的k-NN图中虚假聚类结构识别与移除的挑战。
• 开发一种有限样本剪枝程序，保证在聚类树的任意层级上均能移除所有虚假聚类。
• 确保在数据有限的情况下，显著的、真实的聚类在剪枝过程中得以保留。
• 仅使用k-NN图和一个简单的剪枝规则，提供对底层聚类树的一致估计器。
• 在无需了解底层密度的先验知识（除其值的上界外）的前提下，建立理论保证。

提出的方法

• 从未知密度f的独立同分布有限样本中构建k-NN图。
• 通过按k-NN半径（即到第k个最近邻的距离）递增顺序迭代移除点来剪枝图。
• 采用基于层级的剪枝方案，其中每一层对应一个k-NN半径的阈值λ，形成嵌套的子图层次结构。
• 利用一个核心的“连通性”引理，证明剪枝图中的连通分量对应于密度f的真实层级集。
• 应用有限样本浓度不等式，控制经验密度估计与真实密度估计之间的偏差，确保鲁棒性。
• 推导出调优参数（如k和剪枝阈值），基于样本大小n和维度d，在激进剪枝（以去除噪声）与保守剪枝（以保留真实聚类）之间取得平衡。

实验结果

研究问题

• RQ1 k-NN图能否以一种保证在有限样本中移除所有虚假聚类结构的方式被剪枝？
• RQ2 在何种条件下，剪枝后的k-NN图能保持对底层密度真实聚类树的一致估计？
• RQ3 如何在不了解密度先验知识的前提下，平衡激进剪枝（以去除噪声）与保守剪枝（以保留真实聚类）？
• RQ4 是否存在有限样本保证，使得剪枝图中剩余的所有聚类均对应于底层密度的实际层级集？
• RQ5 该剪枝过程是否可推广至k-NN图之外，基于关于点连通性的简单几何直觉？

主要发现

• 该剪枝程序保证剪枝图中所有剩余聚类均对应于真实密度f的某个层级集的连通分量，从而完全移除所有虚假聚类。
• 对于任意样本大小n和维度d，该方法确保显著聚类被保留，且随着n增大，恢复程度提高。
• 该方法首次在k-NN图背景下为聚类树恢复提供了有限样本保证，适用于满足 log n ≲ k ≲ n^{1/O(d)} 的广泛k值范围。
• 连通性引理表明，若两点位于同一真实连通分量中且彼此足够接近，则只要其k-NN半径足够小，它们在剪枝图中仍保持连通。
• 以至少1−3δ的概率，若经验密度估计足够准确，则剪枝图中不相交的分量在真实图中也保持不连通。
• 该方法无需了解真实密度，仅需其值的上界，使其在实际应用中具有可行性。