[论文解读] A Practical Regularity Partitioning Algorithm and its Applications in Clustering

Gábor N. Sárközy, Fei Song+2 more|arXiv (Cornell University)|Sep 28, 2012

Limits and Structures in Graph Theory参考文献 23被引用 11

一句话总结

本文提出了一种名为 Regularity Clustering 的新型聚类方法，通过引入实用的 Regularity 分区算法，将理论上的 Regularity Lemma 适配于现实世界图的实用场景。通过在较小图上构建近似正则分区，该方法构建了一个压缩的简化图以用于谱聚类，在12个基准数据集中的10个上表现优于k-means和谱聚类。

ABSTRACT

In this paper we introduce a new clustering technique called Regularity Clustering. This new technique is based on the practical variants of the two constructive versions of the Regularity Lemma, a very useful tool in graph theory. The lemma claims that every graph can be partitioned into pseudo-random graphs. While the Regularity Lemma has become very important in proving theoretical results, it has no direct practical applications so far. An important reason for this lack of practical applications is that the graph under consideration has to be astronomically large. This requirement makes its application restrictive in practice where graphs typically are much smaller. In this paper we propose modifications of the constructive versions of the Regularity Lemma that work for smaller graphs as well. We call this the Practical Regularity partitioning algorithm. The partition obtained by this is used to build the reduced graph which can be viewed as a compressed representation of the original graph. Then we apply a pairwise clustering method such as spectral clustering on this reduced graph to get a clustering of the original graph that we call Regularity Clustering. We present results of using Regularity Clustering on a number of benchmark datasets and compare them with standard clustering techniques, such as $k$-means and spectral clustering. These empirical results are very encouraging. Thus in this paper we report an attempt to harness the power of the Regularity Lemma for real-world applications.

研究动机与目标

• 弥合理论 Regularity Lemma 与实际聚类应用之间的差距，因为该引理传统上要求天文数字规模的图。
• 开发一种修改后的、可构造的 Regularity Lemma 版本，使其在中小型图（例如数千个顶点）上有效运行，从而实现实际应用。
• 通过将实用 Regularity 分区与简化图上的谱聚类相结合，提出一种新的聚类框架——Regularity Clustering。
• 通过在多样化基准数据集上对标准聚类技术（如k-means和谱聚类）进行实证验证，评估该方法的性能。

提出的方法

• 提出一种实用 Regularity 分区算法，通过修改 Regularity Lemma 的可构造版本，使其适用于仅包含数千个顶点的图，从而绕过塔函数规模的要求。
• 构建原始图的近似正则分区，将其视为伪随机图，并利用该分区构建一个压缩的简化图，以保留原始结构。
• 在简化图上应用标准谱聚类，以获得对原始图的聚类结果，利用压缩表示实现效率与准确性的提升。
• 通过在ε（0.15–0.50）和l（2–7）范围内进行网格搜索来调整元参数，并使用五折交叉验证进行模型评估。
• 即使正则对较少，也包含简化图中的所有顶点对，以避免稀疏性问题，确保保留足够的结构信息。
• 基于 Alon 等人和 Frieze-Kannan 的可构造 Regularity Lemma 实现算法的两个版本，并比较其性能。

实验结果

研究问题

• RQ1 尽管 Regularity Lemma 原本要求天文数字规模的图，它是否可以被适配于小到中等规模的真实世界图的实用聚类？
• RQ2 所提出的实用 Regularity 分区算法在基准数据集上的性能与 k-means 和谱聚类等标准聚类方法相比如何？
• RQ3 分区中正则性的近似在多大程度上保留了有效聚类所需的结构信息？
• RQ4 该方法在密集和稀疏图表示（包括k近邻图和全连接图）上是否保持鲁棒性和准确性？

主要发现

• Regularity Clustering 在12个基准数据集中的10个上优于 k-means 和谱聚类，显示出强大的实证有效性。
• 在 Wine 数据集上，Regularity Clustering 达到了 47.09% 的准确率（Alon 等人版本），显著优于谱聚类（23.95%）和 k-means（23.89%）。
• 在 Cancer 数据集上，Regularity Clustering 达到了 93.56% 的准确率，达到其最佳性能，并在相同设置下超越了谱聚类（97.22%）和 k-means（96.05%）。
• 该方法实现了显著的压缩效果，将 Cancer 数据集的邻接矩阵大小从 683×683 减少到 52×52，表明效率大幅提升。
• Alon 等人和 Frieze-Kannan 两个版本的结果几乎完全一致，表明该方法对所用底层可构造引理具有鲁棒性。
• 该方法在合成数据集上表现有限，可能是因为 Regularity Lemma 的准随机性假设与合成数据结构不匹配。