[论文解读] How Many Communities Are There?

Diego Franco Saldana, Yi Yu+1 more|arXiv (Cornell University)|Dec 4, 2014

Complex Network Analysis Techniques参考文献 37被引用 7

一句话总结

本文提出了一种复合似然贝叶斯信息准则（CL-BIC）方法，用于在随机块模型中选择社区数量，解决了由于现实网络中条件独立性假设被违反而导致的模型误设问题。在模拟数据和真实数据中，CL-BIC在一致性与鲁棒性方面均优于传统的BIC和变分贝叶斯准则，尤其在检测具有相关性的网络数据中的真实社区结构方面表现更优。

ABSTRACT

Stochastic blockmodels and variants thereof are among the most widely used approaches to community detection for social networks and relational data. A stochastic blockmodel partitions the nodes of a network into disjoint sets, called communities. The approach is inherently related to clustering with mixture models; and raises a similar model selection problem for the number of communities. The Bayesian information criterion (BIC) is a popular solution, however, for stochastic blockmodels, the conditional independence assumption given the communities of the endpoints among different edges is usually violated in practice. In this regard, we propose composite likelihood BIC (CL-BIC) to select the number of communities, and we show it is robust against possible misspecifications in the underlying stochastic blockmodel assumptions. We derive the requisite methodology and illustrate the approach using both simulated and real data. Supplementary materials containing the relevant computer code are available online.

研究动机与目标

• 解决随机块模型在现实网络中条件独立性假设常被违反的社区检测模型选择问题。
• 开发一种在模型误设（尤其是边相关性）下仍保持一致性的鲁棒方法，用于选择社区数量。
• 通过引入复合似然原理，改进传统BIC和变分贝叶斯准则，以更好地处理网络数据中的依赖结构。
• 在模拟网络和真实数据集（包括AddHealth的学校友谊网络）上评估所提出的CL-BIC方法的性能。
• 证明与标准BIC相比，CL-BIC能有效减少在密集且相关网络设置下对社区数量的过度估计。

提出的方法

• CL-BIC方法通过使用复合似然替代完整似然，扩展了贝叶斯信息准则（BIC），从而放宽了给定社区分配下边之间条件独立性的假设。
• 基于成对边依赖关系构建复合似然，使在度校正随机块模型（DCBM）下能够更真实地建模相关网络数据。
• 该方法使用谱聚类和SCORE算法进行初始社区分配，随后应用CL-BIC选择最优社区数 $ K $。
• CL-BIC评分基于对数复合似然，并通过与参数数量成比例的惩罚项进行正则化，以平衡模型拟合度与复杂度。
• 通过模拟研究和真实数据分析验证该方法，将CL-BIC与传统BIC和变分贝叶斯准则进行比较。
• 使用拟合优度和误分类率指标评估不同 $ K $ 下社区分配的质量。

实验结果

研究问题

• RQ1 当随机块模型的条件独立性假设因边相关性而被违反时，CL-BIC能否一致地选择出真实的社区数量？
• RQ2 在相关网络数据上，CL-BIC与传统BIC和变分贝叶斯方法相比，模型选择的准确性如何？
• RQ3 在具有复杂依赖结构的真实网络中，与标准BIC相比，CL-BIC是否能减少对社区数量的过度估计？
• RQ4 在密集网络中，CL-BIC对度校正随机块模型的模型误设是否具有鲁棒性？
• RQ5 当标准BIC失效时，CL-BIC能否有效恢复已知的社区结构（如学校友谊网络中的年级分组社区）？

主要发现

• 在学校的友谊网络中，CL-BIC正确识别出 $ K = 6 $ 个社区，与真实的年级分组结构一致，而传统BIC则选择了 $ K = 9 $，高估了社区数量。
• CL-BIC的拟合优度得分为 $ GF(oldsymbol{z},oldsymbol{ ilde{z}}_6) = 0.811 $，略优于BIC的 $ 0.810 $，表明其对真实社区结构的拟合更优。
• CL-BIC的误分类率（MR）为 $ 40.8 $，而BIC为 $ 33.3 $，表明CL-BIC产生的社区分配更一致、更少碎片化。
• CL-BIC成功避免了将8年级学生错误划分为多个噪声社区，这是BIC在真实数据中常见的失败模式。
• CL-BIC识别出的黑人社区对应于12年级的女性和拉丁裔男性学生子群，反映了BIC未能捕捉到的有意义的社会子结构。
• 数值结果表明，CL-BIC在处理相关二值数据方面比传统BIC更具鲁棒性，并能有效缓解因模型误设导致的方差损失。