[论文解读] Clustering in networks with the collapsed Stochastic Block Model

Aaron F. McDaid, Thomas Brendan Murphy+2 more|arXiv (Cornell University)|Mar 14, 2012

Bayesian Methods and Mixture Models参考文献 33被引用 4

一句话总结

该论文提出了一种坍缩的随机块模型（SBM），通过积分掉边概率参数，实现了使用分配采样器进行高效贝叶斯网络节点聚类。通过在聚类数量上放置先验，该方法直接估计聚类数量和成员关系，无需使用横维马尔可夫链蒙特卡洛（transdimensional MCMC），在包含最多10,000个节点和数千万条边的网络中实现了高精度与可扩展性。

ABSTRACT

An efficient MCMC algorithm is presented to cluster the nodes of a network such that nodes with similar role in the network are clustered together. This is known as block-modelling or block-clustering. The model is the stochastic blockmodel (SBM) with block parameters integrated out. The resulting marginal distribution defines a posterior over the number of clusters and cluster memberships. Sampling from this posterior is simpler than from the original SBM as transdimensional MCMC can be avoided. The algorithm is based on the allocation sampler. It requires a prior to be placed on the number of clusters, thereby allowing the number of clusters to be directly estimated by the algorithm, rather than being given as an input parameter. Synthetic and real data are used to test the speed and accuracy of the model and algorithm, including the ability to estimate the number of clusters. The algorithm can scale to networks with up to ten thousand nodes and tens of millions of edges.

研究动机与目标

• 开发一种基于节点结构角色的可扩展且准确的贝叶斯网络聚类方法。
• 通过积分掉块内边概率参数（即坍缩）消除对横维马尔可夫链蒙特卡洛（transdimensional MCMC）的需求，简化后验推断。
• 通过在聚类数量上放置先验，直接估计聚类数量，避免事后模型选择。
• 通过为边权重使用泊松分布和伽马先验，将模型扩展至加权网络。
• 在合成网络和真实世界网络（包括大规模数据集）上展示高性能。

提出的方法

• 坍缩的SBM使用共轭先验（二值边使用贝塔分布，加权边使用伽马分布）对块内边概率参数（πkl）进行积分，得到关于聚类分配和聚类数量的边际似然。
• 使用分配采样器联合抽样聚类成员关系与聚类数量，通过将聚类数量直接建模为随机变量，避免了复杂的可逆跳跃马尔可夫链蒙特卡洛（reversible jump MCMC）。
• 对于二值边，边际似然推导为贝塔-二项分布，πkl的积分结果为贝塔函数之比。
• 对于加权边，边际似然通过伽马-伽马共轭对推导，得到依赖于每一块总边权重和节点对数量的伽马-伽马边际分布。
• 该算法使用充分统计量 ykl（总边数）和 pkl（每一块的节点对数量）来高效计算边际似然，而无需存储单个边的值。
• 该方法支持二值和加权网络，后者使用泊松模型对边权重建模，并对率参数使用伽马先验。

实验结果

研究问题

• RQ1 通过积分掉参数的坍缩SBM是否能实现无需横维马尔可夫链蒙特卡洛的高效且准确的网络聚类？
• RQ2 能否通过在聚类数量上放置先验，直接估计聚类数量，从而消除对ICL等模型选择准则的需求？
• RQ3 该方法在包含数万个节点和数百万条边的大规模网络中表现如何？
• RQ4 该模型在具有不同噪声水平和聚类结构的合成网络中，能否准确恢复真实聚类结构？
• RQ5 该方法在真实世界网络数据（如暑期学校中的社交互动网络）上的表现如何？

主要发现

• 该算法在合成网络中准确估计了聚类数量，真实聚类数量的后验概率极高。
• 该方法在将节点分配至正确聚类方面表现出高精度，在合成测试中，正确分配节点的后验概率接近1.0。
• 该算法可高效扩展至包含最多10,000个节点和1,000万条边的网络，证明了其在大规模网络中的实际可行性。
• 使用分配采样器的坍缩SBM在计算速度上优于标准SBM方法，且避免了可逆跳跃马尔可夫链蒙特卡洛的复杂性。
• 该模型成功识别出暑期学校真实社交网络中的有意义社区结构，验证了其在实证数据上的实用性。
• 共轭先验与边际化的结合显著降低了计算负担，同时保持了统计精度。