[论文解读] Initialization Free Graph Based Clustering

L. Galluccio, Olivier Michel+3 more|ArXiv.org|Sep 24, 2009

Remote-Sensing Image Classification参考文献 47被引用 3

一句话总结

本文提出了一种无需初始化的基于图的聚类方法，通过Prim算法构建的最小生成树（MST）来估计聚类数量及其质心。通过将顶点分布建模为泊松分布，并对MST的边长轨迹进行阈值处理，该方法检测聚类模式并初始化K-means算法，而无需事先了解聚类信息，在天体物理和高光谱图像数据上显著提升了性能，使用诸如Kullback-Leibler散度等信息论分歧度量。

ABSTRACT

This paper proposes an original approach to cluster multi-component data sets, including an estimation of the number of clusters. From the construction of a minimal spanning tree with Prim's algorithm, and the assumption that the vertices are approximately distributed according to a Poisson distribution, the number of clusters is estimated by thresholding the Prim's trajectory. The corresponding cluster centroids are then computed in order to initialize the generalized Lloyd's algorithm, also known as $K$-means, which allows to circumvent initialization problems. Some results are derived for evaluating the false positive rate of our cluster detection algorithm, with the help of approximations relevant in Euclidean spaces. Metrics used for measuring similarity between multi-dimensional data points are based on symmetrical divergences. The use of these informational divergences together with the proposed method leads to better results, compared to other clustering methods for the problem of astrophysical data processing. Some applications of this method in the multi/hyper-spectral imagery domain to a satellite view of Paris and to an image of the Mars planet are also presented. In order to demonstrate the usefulness of divergences in our problem, the method with informational divergence as similarity measure is compared with the same method using classical metrics. In the astrophysics application, we also compare the method with the spectral clustering algorithms.

研究动机与目标

• 为解决在不了解聚类数量和位置的情况下初始化K-means聚类的挑战。
• 利用最小生成树（MST）的拓扑结构估计多维数据中的聚类数量。
• 基于顶点分布的统计建模，在Prim算法轨迹上开发一种阈值检测程序，以识别聚类模式。
• 评估信息论相似性度量（如Kullback-Leibler散度）在多组分数据聚类中的性能。
• 在真实世界的天体物理和高光谱图像数据集上展示该方法的有效性，其性能优于谱聚类和其他基线方法。

提出的方法

• 使用Prim算法在数据集中构建最小生成树（MST），生成边长的一维轨迹。
• 在原假设下将MST上顶点的分布建模为泊松过程，推导出用于聚类检测的分析阈值。
• 通过检测Prim轨迹中的深谷来识别聚类模式，这些深谷对应于边长的显著跃迁。
• 利用检测到的聚类模式估计聚类质心，并初始化K-means算法，避免随机初始化带来的偏差。
• 在特征空间中使用对称分歧度量，特别是Kullback-Leibler散度，作为相似性度量以提高聚类准确性。
• 将该方法应用于高光谱图像和天体物理数据，通过子采样减少计算负载，同时保持聚类结构。

实验结果

研究问题

• RQ1 能否从最小生成树（MST）的拓扑结构中可靠估计多维数据集中聚类的数量？
• RQ2 如何从MST的Prim轨迹中推导出检测聚类边界的统计最优阈值？
• RQ3 与经典度量相比，信息论分歧度量在高光谱和天体物理数据中的聚类性能提升程度如何？
• RQ4 所提出的方法能否消除对K-means初始化的需求，同时保持或提升聚类准确性？
• RQ5 该方法在真实世界多光谱和天体物理数据集上相对于谱聚类和其他最先进聚类算法的表现如何？

主要发现

• 该方法通过检测Prim轨迹中的谷值成功估计了聚类数量，其阈值基于原假设下的泊松模型推导得出。
• 在天体物理和高光谱图像应用中，使用Kullback-Leibler散度作为相似性度量显著提高了聚类准确性，优于经典度量。
• 所提出的方法在性能上可与专家驱动的方法（如wavanglet和贝叶斯正源分离，BPSS）相媲美，但无需参考光谱或先验专家标注。
• 在火星高光谱图像上，该方法正确识别出三种主要组分：H₂O冰、CO₂冰和尘埃，其空间分布模式与物理预期一致（例如，H₂O冰位于CO₂冰的外围）。
• 通过数据驱动的分层分类和对大图像的子采样，该方法避免了完整相似性矩阵的计算，显著降低了计算负担。
• 利用泊松模型，聚类检测的假阳性率得到理论上的界约束，提供了聚类估计的理论收敛速率和统计置信度。