[论文解读] Consistency of Spectral Clustering on Hierarchical Stochastic Block Models

Lihua Lei, Xiaodong Li+1 more|arXiv (Cornell University)|Apr 30, 2020

Complex Network Analysis Techniques参考文献 29被引用 10

一句话总结

该论文在分层随机块模型（HSBM）上建立了递归谱聚类算法的强一致性，使用未归一化图拉普拉斯矩阵的Fiedler向量。证明了该方法即使在平均度数低至$O(\log n)$的稀疏网络中也能可靠地恢复真实的社区层次结构，并能处理跨社区连接概率相差多个数量级的多尺度情况。

ABSTRACT

We study the hierarchy of communities in real-world networks under a generic stochastic block model, in which the connection probabilities are structured in a binary tree. Under such model, a standard recursive bi-partitioning algorithm is dividing the network into two communities based on the Fiedler vector of the unnormalized graph Laplacian and repeating the split until a stopping rule indicates no further community structures. We prove the strong consistency of this method under a wide range of model parameters, which include sparse networks with node degrees as small as $O(\log n)$. In addition, unlike most of existing work, our theory covers multiscale networks where the connection probabilities may differ by orders of magnitude, which comprise an important class of models that are practically relevant but technically challenging to deal with. Finally we demonstrate the performance of our algorithm on synthetic data and real-world examples.

研究动机与目标

• 弥合理论上合理的分层聚类算法与实际网络模型中表现出多尺度社区结构之间的差距。
• 在允许非平衡层次结构和异质连接概率的一般分层随机块模型（HSBM）下，建立递归谱聚类的理论一致性。
• 分析基于拉普拉斯矩阵的分裂式聚类算法在节点度数按$O(\log n)$增长的稀疏网络中的性能，这一领域此前在理论研究中尚未被充分探讨。
• 构建一个理论框架，以容纳连接概率相差多个数量级的多尺度网络，突破以往模型对统一尺度或平衡层次结构的限制。

提出的方法

• 使用未归一化图拉普拉斯矩阵的Fiedler向量（即第二小特征值对应的特征向量）在每一步递归地将网络划分为两个社区。
• 采用递归二等分策略，重复该过程直至停止准则表明任意子图中均不再存在进一步的社区结构。
• 利用特征向量的逐元素扰动界，证明在HSBM下，观测到的Fiedler向量能紧密逼近总体水平的Fiedler向量。
• 证明总体拉普拉斯矩阵的特征向量可识别分层社区结构，将先前关于Fiedler向量的研究结果推广至完整的特征结构。
• 提出对特征子空间扰动的精细化分析，以考虑异质连接概率和非平衡层次结构的影响。
• 利用拉普拉斯矩阵的谱范数和逐元素偏差的概率界，控制经验特征向量与总体特征向量之间的误差。

实验结果

研究问题

• RQ1 在平均度数为$O(\log n)$的稀疏网络中，使用未归一化拉普拉斯矩阵的Fiedler向量进行递归谱聚类，能否一致地恢复真实的分层社区结构？
• RQ2 当社区间连接概率相差多个数量级时，该方法是否仍保持一致性，从而反映现实世界中的多尺度网络？
• RQ3 在非平衡的层次结构和异质连接概率下，该算法表现如何？这类情况在真实网络中常见，但技术上分析难度较大。
• RQ4 能否为生成树状图（dendrogram）的分裂式聚类算法建立理论保证？这与大多数先前理论工作聚焦于非分层聚类形成对比。
• RQ5 为实现一致的层次结构恢复，模型参数（如最小连接概率差异、网络稀疏性）需要满足哪些必要条件？

主要发现

• 在分层随机块模型下，递归谱聚类算法具有强一致性，即使平均度数按$O(\log n)$增长，这也包括了此类保证的最稀疏已知情形。
• 该方法在连接概率具有多尺度特性的网络中成功恢复了分层社区结构，其中不同社区间的连接概率相差多个数量级。
• 理论分析表明，观测拉普拉斯矩阵的Fiedler向量与总体Fiedler向量的近似程度极高，其误差受以下界控制：$\sqrt{n}\|\mathbf{U}\mathrm{sign}(\mathbf{U}^T\mathbf{U}^*) - \mathbf{U}^*\|_{2\rightarrow\infty} \lesssim \frac{n\bar{p}^*\sqrt{n\bar{p}^*\log n}}{(n(\underline{p}_*-p_\emptyset))^2}$，在模型假设下成立。
• 该分析通过证明总体拉普拉斯矩阵的整个特征子空间编码了分层结构，而不仅限于Fiedler向量，从而推广了先前结果。
• 该方法在无需平衡层次结构或均匀连接概率的条件下实现一致性，使其适用于真实世界中异质性较强的网络结构。
• 特征向量偏差的界确保了估计Fiedler向量的符号模式以高概率与真实社区结构一致，从而实现正确的社区恢复。