[论文解读] Model-free consistency of graph partitioning

Peter Diao, Dominique Guillot+2 more|arXiv (Cornell University)|Aug 12, 2016

Complex Network Analysis Techniques参考文献 18被引用 8

一句话总结

本文提出了一种无需模型的框架，通过利用稠密图极限理论和图子（graphons）来评估图划分中的结构一致性。研究证明，当底层图子结构收敛时，聚类算法（如使用归一化拉普拉斯矩阵的谱聚类以及基于同态密度的算法）具有结构一致性，确保在不假设独立同分布数据或特定概率模型的前提下具备稳定性和渐近一致性。

ABSTRACT

In this paper, we exploit the theory of dense graph limits to provide a new framework to study the stability of graph partitioning methods, which we call structural consistency. Both stability under perturbation as well as asymptotic consistency (i.e., convergence with probability $1$ as the sample size goes to infinity under a fixed probability model) follow from our notion of structural consistency. By formulating structural consistency as a continuity result on the graphon space, we obtain robust results that are completely independent of the data generating mechanism. In particular, our results apply in settings where observations are not independent, thereby significantly generalizing the common probabilistic approach where data are assumed to be i.i.d. In order to make precise the notion of structural consistency of graph partitioning, we begin by extending the theory of graph limits to include vertex colored graphons. We then define continuous node-level statistics and prove that graph partitioning based on such statistics is consistent. Finally, we derive the structural consistency of commonly used clustering algorithms in a general model-free setting. These include clustering based on local graph statistics such as homomorphism densities, as well as the popular spectral clustering using the normalized Laplacian. We posit that proving the continuity of clustering algorithms in the graph limit topology can stand on its own as a more robust form of model-free consistency. We also believe that the mathematical framework developed in this paper goes beyond the study of clustering algorithms, and will guide the development of similar model-free frameworks to analyze other procedures in the broader mathematical sciences.

研究动机与目标

• 解决在缺乏强概率假设的情况下，对流行图聚类算法缺乏理论依据的问题。
• 将扰动下的稳定性与固定模型下的渐近一致性统一到一个单一且稳健的框架中。
• 通过去除概率方法中常见的独立同分布数据假设，推广现有的一致性结果。
• 为在无需模型设定下分析聚类算法建立数学基础，利用图子拓扑。
• 将图极限理论扩展至带色顶点图子（vertex-colored graphons）及连续节点级统计量，以支持聚类分析。

提出的方法

• 将稠密图极限理论扩展至S-色图子（S-colored graphons），其中顶点被赋予颜色以表示聚类归属。
• 在图子上定义连续的节点级统计量，如同态密度和谱性质，以表示局部图结构。
• 在图子空间上使用切度量（cut metric）来形式化图结构的收敛性，并将结构一致性定义为聚类映射的连续性。
• 应用度量空间值函数的Riesz–Fischer定理，以确保图子序列及其相关统计量的收敛性。
• 证明在图子拓扑下，聚类算法（如通过归一化拉普拉斯矩阵实现的谱聚类）的连续性，从而蕴含结构一致性。
• 证明输入图子的收敛性可保证结果的划分后（着色）图子的收敛性，无论数据生成机制如何。

实验结果

研究问题

• RQ1 是否可以在不假设独立同分布数据或特定概率模型的前提下，对图划分算法进行一致分析？
• RQ2 在图结构发生微小扰动时，何种条件可确保其划分结果仅发生微小变化？
• RQ3 在无需模型设定的环境下，如何建立聚类算法的渐近一致性？
• RQ4 图子极限拓扑在确保聚类过程鲁棒性方面起到何种作用？
• RQ5 在缺乏概率假设的前提下，是否可证明使用归一化拉普拉斯矩阵的谱聚类具有结构一致性？

主要发现

• 结构一致性——定义为图子拓扑下聚类映射的连续性——同时蕴含扰动下的稳定性与渐近一致性。
• 基于连续节点级统计量（如同态密度）的聚类，在图子收敛条件下具有结构一致性。
• 通过归一化拉普拉斯矩阵实现的谱聚类具有结构一致性，因为从图子到着色图子的映射是连续的。
• 该框架适用于依赖性或非独立同分布的数据，显著推广了现有概率一致性结果。
• 将度量空间值函数的Riesz–Fischer定理进行扩展并应用于图子与统计量序列的收敛性证明。
• 有限图上的连续节点级统计量可连续延拓至图子空间，从而实现对大规模聚类算法的理论分析。