[论文解读] A Statistical Density-Based Analysis of Graph Clustering Algorithm Performance

Pierre Miasnikof, Alexander Y. Shestopaloff+3 more|arXiv (Cornell University)|Jun 6, 2019

Complex Network Analysis Techniques参考文献 53被引用 4

一句话总结

本文提出了一种基于统计与密度的框架，通过比较全局密度、聚类内密度与聚类间密度，客观评估图聚类质量。该方法采用非生成性零模型和修正的t检验，提供具有统计显著性、满足公理化要求且鲁棒的评估——在敏感性、数值稳定性和与聚类质量公理的一致性方面优于模块度和导出度。

ABSTRACT

Measuring graph clustering quality remains an open problem. To address it, we introduce quality measures based on comparisons of intra- and inter-cluster densities, an accompanying statistical test of the significance of their differences and a step-by-step routine for clustering quality assessment. Our null hypothesis does not rely on any generative model for the graph, unlike modularity which uses the configuration model as a null model. Our measures are shown to meet the axioms of a good clustering quality function, unlike the very commonly used modularity measure. They also have an intuitive graph-theoretic interpretation, a formal statistical interpretation and can be easily tested for significance. Our work is centered on the idea that well clustered graphs will display a significantly larger intra-cluster density than inter-cluster density. We develop tests to validate the existence of such a cluster structure. We empirically explore the behavior of our measures under a number of stress test scenarios and compare their behavior to the commonly used modularity and conductance measures. Empirical stress test results confirm that our measures compare very favorably to the established ones. In particular, they are shown to be more responsive to graph structure and less sensitive to sample size and breakdowns during numerical implementation and less sensitive to uncertainty in connectivity. These features are especially important in the context of larger data sets or when the data may contain errors in the connectivity patterns.

研究动机与目标

• 为解决不依赖生成性零模型来度量图聚类质量这一开放性问题。
• 定义一个严谨、基于统计的聚类质量函数，满足良好聚类的公理要求。
• 开发一种对数值不稳定性与稀疏连通性具有鲁棒性的显著性检验框架。
• 通过基于密度的度量与统计推断，客观比较聚类算法的性能。
• 克服模块度与导出度的局限性，如对结构不敏感以及在压力条件下的失效问题。

提出的方法

• 该方法定义了三个关键密度度量：全局密度（K）、平均聚类内密度（K_intra）与平均聚类间密度（K_inter）。
• 引入一种基于非生成性零模型的统计检验，其中聚类分配被随机化，避免依赖配置模型等生成性模型。
• 应用修正的两样本t检验比较K_intra与K_inter，通过蒙特卡洛重采样估计标准误，以处理退化情况（如聚类间边数为零）。
• 该检验评估原假设H₀: K_intra = K_inter，拒绝原假设表示聚类具有统计显著性。
• 框架包含一种双算法启发式检验，通过p值差异对竞争算法的聚类质量进行排序。
• 通过在合成图与真实图上进行压力测试，对方法的有效性进行了验证，并与模块度和导出度进行了比较。

实验结果

研究问题

• RQ1 能否开发一种既具有统计严谨性又独立于生成性图模型的聚类质量度量方法？
• RQ2 与模块度和导出度相比，该方法在图结构敏感性与数值鲁棒性方面表现如何？
• RQ3 该方法是否满足良好聚类质量函数的公理，如单调性与一致性？
• RQ4 当聚类间边数为零或接近零时，能否可靠地评估统计显著性？
• RQ5 在极端情况（如边数极少）下，该方法是否能够有效区分有意义的聚类与随机或低质量的聚类？

主要发现

• 所提方法在响应实际聚类结构方面优于模块度与导出度，尤其在压力测试场景中表现更优。
• 对于Louvain算法，p值约为0.0，强烈拒绝原假设，确认了聚类具有统计显著性。
• 对于ALP算法，p值约为0.1，未能拒绝原假设，表明聚类内与聚类间密度无显著差异。
• 尽管ALP算法的聚类间边数为零，该方法仍通过蒙特卡洛方法估计标准误，成功计算出有效的t统计量与p值。
• 双算法启发式检验显示p值差异约为0.10，进一步表明Louvain生成的聚类质量优于ALP。
• 该方法在数值崩溃方面更不易发生，且与良好聚类质量函数的公理更一致，优于模块度。