[论文解读] Model selection and clustering in stochastic block models with the exact integrated complete data likelihood

Étienne Côme, Pierre Latouche|arXiv (Cornell University)|Mar 12, 2013

Complex Network Analysis Techniques参考文献 41被引用 15

一句话总结

本文提出了一种用于随机块模型（SBM）的贪心推理算法，通过最大化精确集成完整数据似然（ICL）来改进大规模网络中的模型选择与聚类。通过避免马尔可夫链蒙特卡洛采样，该方法在收敛速度和准确性方面优于现有方法，尤其能有效避免在大规模网络中对簇数的过度估计。

ABSTRACT

The stochastic block model (SBM) is a mixture model used for the clustering of nodes in networks. It has now been employed for more than a decade to analyze very different types of networks in many scientific fields such as Biology and social sciences. Because of conditional dependency, there is no analytical expression for the posterior distribution over the latent variables, given the data and model parameters. Therefore, approximation strategies, based on variational techniques or sampling, have been proposed for clustering. Moreover, two SBM model selection criteria exist for the estimation of the number K of clusters in networks but, again, both of them rely on some approximations. In this paper, we show how an analytical expression can be derived for the integrated complete data log likelihood. We then propose an inference algorithm to maximize this exact quantity. This strategy enables the clustering of nodes as well as the estimation of the number clusters to be performed at the same time and no model selection criterion has to be computed for various values of K. The algorithm we propose has a better computational cost than existing inference techniques for SBM and can be employed to analyze large networks with ten thousand nodes. Using toy and true data sets, we compare our work with other approaches.

研究动机与目标

• 为解决大规模网络中基于MCMC的推理在随机块模型（SBM）中常见的簇数过度估计问题。
• 开发一种计算高效的MCMC采样替代方法，避免在大规模SBM推理中出现混合不良和接受率低的问题。
• 通过最大化精确集成完整数据似然（ICL），实现聚类与模型选择的同步进行。
• 为包含数万个节点和数百万条边的网络提供可扩展的解决方案，克服现有方法的收敛问题。
• 与现有SBM推理技术相比，提升在社区检测和非 assortative 混合结构恢复方面的准确性。

提出的方法

• 该方法使用精确集成完整数据对数似然（ICL）作为目标函数，引导贪心优化，以确定性最大化替代随机采样。
• 通过计算ICL的精确变化，执行局部操作——节点标签交换、簇合并和簇删除，使用贝塔函数和伽马函数。
• 对于每个节点，算法在O(l_i + K²)时间内评估所有可能的标签交换，其中l_i为节点度数，K为簇数。
• ICL的变化通过包含贝塔函数B(·,·)和伽马函数的闭式表达式计算，同时考虑边数变化和簇大小更新的调整。
• 通过评估合并或删除簇时ICL的变化，并使用适当的归一化常数，动态处理簇的创建与删除。
• 贪心策略迭代应用最优操作（交换、合并或删除），直至ICL无法进一步提升，确保收敛至局部最优。

实验结果

研究问题

• RQ1 基于精确集成完整数据似然的贪心推理算法是否能在大规模网络的聚类准确性和模型选择方面优于基于MCMC的方法？
• RQ2 所提出的方法是否能避免在基于MCMC的SBM推理中常见的簇数过度估计问题？
• RQ3 与现有SBM推理技术相比，贪心ICL最大化的计算复杂度在大规模网络可扩展性方面表现如何？
• RQ4 该方法在多大程度上能恢复现实网络中的社区结构和非 assortative 混合模式？
• RQ5 该方法是否能在不出现收敛问题的情况下，有效应用于包含数万个节点和数百万条边的网络？

主要发现

• 贪心ICL最大化算法在玩具网络上的聚类准确性优于现有方法，尤其在恢复真实簇数方面表现优异。
• 该方法避免了MCMC基SBM推理中常见的簇数过度估计问题，即使在样本量较大时亦然。
• 该算法能高效扩展至大规模网络，可处理多达数万个节点和数百万条边，且无收敛问题。
• 每次节点标签交换的计算成本为O(l_i + K²)，使其适用于大规模应用场景。
• 在一个与漫画和插画相关的现实世界博客网络中，该方法成功识别出与主题内容一致的有意义社区结构。
• 精确ICL计算实现了精确的模型选择，在识别最优簇数方面优于启发式替代方法。