[论文解读] A Simple Probabilistic Algorithm for Detecting Community Structure in Social Networks

Wei Ren, Guiying Yan+1 more|ArXiv.org|Oct 18, 2007

Complex Network Analysis Techniques被引用 3

一句话总结

本文提出SPAEM，一种基于期望最大化（EM）框架的简单概率算法，用于检测社交网络中的社区结构。该方法将社区成员身份建模为隐变量，并利用最小描述长度（MDL）原则确定最优社区数量，能够检测重叠节点，并有效处理加权网络，在合成数据集和真实世界数据集上均表现出色。

ABSTRACT

In this paper, we propose a novel semi-parametric probabilistic model which considers interactions between different communities and can provide more information about the network topology besides correctly detecting communities. By using an additional parameter, our model can not only detect community structure but also detect pattern which is a generalization of common sense network community structure. The prior parameter in our model reveals the characteristics of patterns inside the network. Results on some widely known data sets prove the efficiency of our model.

研究动机与目标

• 解决在存在重叠节点和社区规模不平衡的情况下检测复杂网络中社区结构的挑战。
• 开发一种概率框架，将社区检测视为隐变量推断问题，受概率潜在语义分析的启发。
• 提供一种稳健的方法，利用最小描述长度（MDL）原则确定最优社区数量。
• 将算法扩展至处理加权网络和重叠社区结构，克服基于模块度方法的局限性。
• 在合成网络和真实世界网络上验证该方法，证明其在检测重叠节点和解析社区结构方面表现优越。

提出的方法

• 将社区结构建模为隐变量问题，其中每条边根据隐藏的成员概率被分配至某个社区。
• 使用混合模型，边存在的概率为所有社区概率之和：$ Pr(e_{ij}|\pi,\beta) = \sum_{r=1}^{c} \pi_r \beta_{r,i} \beta_{r,j} $。
• 应用期望最大化（EM）算法，迭代估计参数$ \pi $（社区规模比例）和$ \beta $（节点-社区成员强度）。
• 采用最小描述长度（MDL）原则作为模型选择标准，以识别最优社区数量。
• 通过在EM优化过程中将边权重纳入似然函数，将模型扩展至加权网络。
• 通过允许每个节点在多个社区中具有非零成员概率，处理重叠节点。

实验结果

研究问题

• RQ1 基于EM和MDL的概率模型能否有效检测复杂网络中的社区结构，包括重叠和加权网络？
• RQ2 基于MDL的模型选择标准在不同网络拓扑中识别真实社区数量的表现如何？
• RQ3 SPAEM算法是否在检测重叠节点和解析不平衡或模糊的网络结构中的社区方面优于现有方法？
• RQ4 模型选择标准对精度参数$ \epsilon $的选择有多敏感？其在不同网络分辨率下是否保持鲁棒性？
• RQ5 通过调整分辨率参数$ \epsilon $，该算法能否检测到层次化社区结构？与Rosvall和Bergstrom（2007）等信息论方法相比表现如何？

主要发现

• SPAEM成功检测出重叠节点，且在节点非对称测试中，随着外接边数($k_{out}$)增加，性能提升，表明对结构噪声具有鲁棒性。
• 在$ k_{out} = 6 $和$ 7 $的对称测试情况下，SPAEM-MDL在100%的网络中正确识别出真实社区数量，优于模块度和基于信息的方法。
• 在美式橄榄球队网络中，SPAEM-MDL正确选择了4个社区，与已知真实情况一致，证实了其在真实世界数据上的准确性。
• 在期刊引用网络中，当$ \epsilon $值从$ 1/n $到$ 1/6n $时，SPAEM-MDL始终选择4个社区；当$ \epsilon = 1/7n $时选择3个社区，表明在聚类良好的网络中具有稳定性和对$ \epsilon $的鲁棒性。
• 模型选择标准对$ \epsilon $表现出敏感性，但在社区定义清晰时仍保持鲁棒性；仅当$ k_{out} = 8 $时性能下降，原因在于社区间边密度增加。
• SPAEM在检测重叠社区方面优于模块度和基于信息的方法，尤其在非对称和链接非对称的网络配置中表现更优，而其他方法在这些情况下完全失效。