[论文解读] Analysis of spectral clustering algorithms for community detection: the general bipartite setting

Zhixin Zhou, Arash Amini|arXiv (Cornell University)|Mar 12, 2018

Complex Network Analysis Techniques被引用 68

一句话总结

本文分析广义双分块随机图模型中的谱聚类用于社区检测，介绍数据驱动正则化、创新截断变体，以及扩展到更广泛的图模型，并给出一致性保证。

ABSTRACT

We consider spectral clustering algorithms for community detection under a general bipartite stochastic block model (SBM). A modern spectral clustering algorithm consists of three steps: (1) regularization of an appropriate adjacency or Laplacian matrix (2) a form of spectral truncation and (3) a k-means type algorithm in the reduced spectral domain. We focus on the adjacency-based spectral clustering and for the first step, propose a new data-driven regularization that can restore the concentration of the adjacency matrix even for the sparse networks. This result is based on recent work on regularization of random binary matrices, but avoids using unknown population level parameters, and instead estimates the necessary quantities from the data. We also propose and study a novel variation of the spectral truncation step and show how this variation changes the nature of the misclassification rate in a general SBM. We then show how the consistency results can be extended to models beyond SBMs, such as inhomogeneous random graph models with approximate clusters, including a graphon clustering problem, as well as general sub-Gaussian biclustering. A theme of the paper is providing a better understanding of the analysis of spectral methods for community detection and establishing consistency results, under fairly general clustering models and for a wide regime of degree growths, including sparse cases where the average expected degree grows arbitrarily slowly.

研究动机与目标

• 对广义 bipartite SBM 设置下的谱聚类进行统一分析。
• 引入一种数据驱动的正则化，确保稀疏网络中的邻接矩阵集中。
• 研究谱截断的变体及其对错误分类率的影响。
• 将一致性结果扩展到非同质随机图和图核/双聚类情境。

提出的方法

• 提出一种数据驱动正则化（算法1），在未知参数情况下实现集中界限。
• 分析三种谱截断变体，包括一个去噪导向的方案和一个计算高效的混合方案。
• 构建一个三步谱聚类流程：正则化、截断和 k-means，并推导一致性结果。
• 引入并利用化简的 SVD 与对称扩张，将 A_re 与 P 联系起来，从而实现基于扰动的保证。
• 定义并利用 k-means 矩阵的概念以及对 k-means 步骤的局部二次连续性（LQC）条件（方程（10））。
• 将分析扩展到一般 SBMs 以及如子高斯双聚类和图核聚类等模型。

实验结果

研究问题

• RQ1 如何在广义 bipartite SBM 下实现基于邻接的谱聚类的一致性，包含稀疏情形？
• RQ2 哪种数据驱动正则化能够在没有总体参数访问的情况下确保邻接矩阵集中？
• RQ3 不同的谱截断策略如何影响错误分类率和一致性？
• RQ4 一致性结果是否可以扩展到非同质随机图和图核双聚类？
• RQ5 为了确保整体谱聚类的一致性，对 k-means 步骤有哪些最小条件？

主要发现

• 一种数据驱动正则化在一般 SBM 下达到与“oracle”方法相同的集中界限（文本中引用定理2/定理3）。
• 三种谱截断变体具有不同的一致性性质；去噪导向变体（算法3）和混合体（算法4）在某些条件下可达到或超过传统截断的性能。
• 对 SC-RR 和 SC-RRE 变体建立一致性结果，证明在等距不变的 k-means 步骤下性能等价，并扩展到对称/双分块情形。
• 该框架将谱集中与扰动（通过对称扩张和 DK 型推理）联系到具体的错误分类界限（定理1 蓝图），适用于稀疏和一般度增长情形。
• 结果推广到非同质随机图和图核聚类，凸显谱方法在 SBMs 之外的广泛适用性。