[论文解读] Hierarchical Community Detection by Recursive Partitioning

Tianxi Li, Lihua Lei+5 more|arXiv (Cornell University)|Oct 2, 2018

Complex Network Analysis Techniques参考文献 78被引用 10

一句话总结

本文提出一种无需模型假设、计算高效的分层社区检测算法，基于递归谱聚类划分，从单一社区开始，迭代分割节点直至满足停止规则。该方法在二叉树随机块模型下可一致恢复真实的社区分层结构，在某些参数范围内优于标准的K路谱聚类，同时无需预先指定K值。

ABSTRACT

The problem of community detection in networks is usually formulated as finding a single partition of the network into some "correct" number of communities. We argue that it is more interpretable and in some regimes more accurate to construct a hierarchical tree of communities instead. This can be done with a simple top-down recursive partitioning algorithm, starting with a single community and separating the nodes into two communities by spectral clustering repeatedly, until a stopping rule suggests there are no further communities. This class of algorithms is model-free, computationally efficient, and requires no tuning other than selecting a stopping rule. We show that there are regimes where this approach outperforms K-way spectral clustering, and propose a natural framework for analyzing the algorithm's theoretical performance, the binary tree stochastic block model. Under this model, we prove that the algorithm correctly recovers the entire community tree under relatively mild assumptions. We apply the algorithm to a gene network based on gene co-occurrence in 1580 research papers on anemia, and identify six clusters of genes in a meaningful hierarchy. We also illustrate the algorithm on a dataset of statistics papers.

研究动机与目标

• 为解决传统K路社区检测方法的局限性，后者通常需要预先指定K值，且在K较大时变得不稳定。
• 通过构建社区的分层树结构，而非平面划分，提供一种更具可解释性和准确性的替代方法。
• 为分析社区检测中递归划分算法提供理论基础框架。
• 在真实网络上展示该方法的有效性，包括基因共现网络和统计学引用网络。
• 表明分层结构可提升可解释性与性能，尤其当社区存在于多个尺度时。

提出的方法

• 算法从所有节点属于单一社区开始，递归应用谱聚类将社区划分为两部分。
• 每一步的划分由网络邻接矩阵的主导特征向量决定，采用归一化切割准则。
• 当基于特征值间隔或模块度的停止规则表明不再存在有意义的进一步划分时，过程停止。
• 该方法无需模型假设，除选择停止规则外无需其他调参。
• 在二叉树随机块模型下进行理论分析，该模型假设社区结构呈二叉树形式，且社区间连接具有概率定义的特性。
• 通过核心网络提取步骤在真实数据集上应用该方法，以提升稳定性和可解释性。

实验结果

研究问题

• RQ1 通过谱聚类实现的递归划分能否比标准K路聚类更准确地恢复网络中真实的分层社区结构？
• RQ2 在何种条件下，分层社区检测在恢复准确度上优于平面K路聚类？
• RQ3 如何设计停止规则，以确保算法在不知晓K值的情况下停在正确的分层水平？
• RQ4 该递归划分方法在定义良好的分层网络随机模型下是否具有理论一致性？
• RQ5 该方法能否在真实网络（如基因共现网络和引用网络）中揭示具有科学意义的社区分层结构？

主要发现

• 在满足温和条件的二叉树随机块模型下，递归划分算法以高概率一致恢复完整的社区分层结构。
• 当社区结构呈嵌套分层且K值较大时，该方法在性能上优于标准K路谱聚类。
• 在基因共现网络中，该算法识别出六个具有生物意义的聚类，其排列形成科学上可解释的层级结构。
• 在统计学引用网络中，该算法揭示了15个具有清晰树状结构的独立研究社区，与子领域专家知识高度一致。
• 与平面划分相比，分层结构提供了更好的可解释性，因为它揭示了社区之间的关系，如邻近性与嵌套性。
• 该算法计算高效，除停止规则外无需调参，适用于大规模网络。