[论文解读] Model-based clustering in networks with Stochastic Community Finding

Aaron F. McDaid, Thomas Brendan Murphy+2 more|arXiv (Cornell University)|May 9, 2012

Complex Network Analysis Techniques参考文献 18被引用 7

一句话总结

本文提出随机社区发现（Stochastic Community Finding, SCF），一种约束型随机块模型（Stochastic Block Model, SBM）的变体，通过显式偏好更高内部聚类密度而非聚类间密度，以提升网络中的社区检测性能。采用一种定制的Metropolis-Hastings MCMC算法，避免了完整参数坍缩，成功在Zachary的空手道俱乐部和Sampson的僧侣网络中恢复了真实社区结构——而标准SBM因基于度数而非社区归属进行聚类而失败。

ABSTRACT

In the model-based clustering of networks, blockmodelling may be used to identify roles in the network. We identify a special case of the Stochastic Block Model (SBM) where we constrain the cluster-cluster interactions such that the density inside the clusters of nodes is expected to be greater than the density between clusters. This corresponds to the intuition behind community-finding methods, where nodes tend to clustered together if they link to each other. We call this model Stochastic Community Finding (SCF) and present an efficient MCMC algorithm which can cluster the nodes, given the network. The algorithm is evaluated on synthetic data and is applied to a social network of interactions at a karate club and at a monastery, demonstrating how the SCF finds the 'ground truth' clustering where sometimes the SBM does not. The SCF is only one possible form of constraint or specialization that may be applied to the SBM. In a more supervised context, it may be appropriate to use other specializations to guide the SBM.

研究动机与目标

• 解决标准随机块模型（SBM）在检测社区结构时，反而按度数或结构角色聚类而非社区归属的局限性。
• 开发一种显式强化社区发现直觉的模型：聚类内部的边密度高于聚类之间的边密度。
• 设计一种高效的MCMC算法，用于该约束模型的后验推断，即使在无法实现完整参数坍缩的情况下亦可适用。
• 在合成数据和真实社交网络上评估该方法，其中已知真实社区结构。

提出的方法

• 在SBM中引入约束，使得聚类内部的期望边密度（对角块）高于聚类之间的边密度（非对角块），通过块密度上的先验进行形式化。
• 通过每块使用Gamma分布速率参数的泊松边模型，将SBM适配至加权网络，使其可应用于加权社交网络。
• 开发一种Metropolis-Hastings MCMC算法，用于抽样聚类分配和块参数，采用新颖方法处理参数的不可计算边际化问题。
• 采用分配抽样和数据增强等算法技术，即使在无法完全坍缩的情况下，也提升混合效率与收敛性。
• 使用变维数MCMC方案，通过利用条件后验结构避免使用可逆跳跃MCMC（RJMCMC）。
• 在C++中实现该算法，并将其应用于合成网络和真实世界网络数据，包括Zachary的空手道俱乐部和Sampson的僧侣网络。

实验结果

研究问题

• RQ1 约束型SBM是否能在标准SBM失效的网络中更准确地恢复社区结构？
• RQ2 在具有已知社区划分的真实社交网络中，强制提高内部聚类密度是否能提升聚类准确率？
• RQ3 当完整参数坍缩在分析上不可行时，能否为该约束模型设计一种高效的MCMC算法？
• RQ4 SCF模型在估计聚类数量和识别真实网络中真实派系方面，与SBM相比表现如何？
• RQ5 SCF的模型选择性能在多大程度上依赖于K的先验设定？其如何处理模型不确定性？

主要发现

• 在Zachary的空手道俱乐部中，SCF在K=2时，85.5%的MCMC迭代收敛至真实聚类，正确识别出俱乐部分裂后的两个派系。
• 相比之下，标准SBM按度数聚类，将9个高阶节点归为一个聚类，25个低阶节点归为另一个，未能反映实际社区结构。
• 在Sampson的僧侣网络中，SCF在88.5%的迭代中估计K=3，并在69%的情况下匹配报告的派系（忠诚反对派、青年土耳其人、边缘群体），优于SBM在K=3时的55%。
• 即使SBM因度数异质性而被误导，SCF模型仍能成功恢复具有强社区信号的网络中的社区结构。
• 该方法在空手道俱乐部中未能可靠估计真实聚类数（估计K=5而非K=2），表明SCF框架内仍需进一步研究模型选择问题。
• 所提出的MCMC算法在完整参数边际化不可计算的情况下，仍能实现SCF模型的高效推断，证明其为变维数RJMCMC提供了一种可行的替代方案。