[论文解读] Community Detection in Networks using Graph Distance

Sharmodeep Bhattacharyya, Peter J. Bickel|arXiv (Cornell University)|Jan 16, 2014

Complex Network Analysis Techniques参考文献 49被引用 23

一句话总结

本文提出了一种基于图距离的社区检测算法，利用网络拓扑中的顶点邻近性来识别社区。该方法在具有固定或增长社区数的随机块模型以及度校正模型下，提供了正确恢复社区的理论保证，表明随着网络规模增大，误标节点的比例趋于零。

ABSTRACT

The study of networks has received increased attention recently not only from the social sciences and statistics but also from physicists, computer scientists and mathematicians. One of the principal problem in networks is community detection. Many algorithms have been proposed for community finding but most of them do not have have theoretical guarantee for sparse networks and networks close to the phase transition boundary proposed by physicists. There are some exceptions but all have some incomplete theoretical basis. Here we propose an algorithm based on the graph distance of vertices in the network. We give theoretical guarantees that our method works in identifying communities for block models and can be extended for degree-corrected block models and block models with the number of communities growing with number of vertices. Despite favorable simulation results, we are not yet able to conclude that our method is satisfactory for worst possible case. We illustrate on a network of political blogs, Facebook networks and some other networks.

研究动机与目标

• 解决稀疏网络及相变边界附近社区检测缺乏理论保证的问题。
• 开发一种适用于广泛网络密度范围的通用型社区检测方法。
• 为随机块模型（SBM）、度校正SBM以及增长块模型下的社区恢复提供理论依据。
• 在真实网络（包括政治博客网络和Facebook高校网络）上展示方法的实证性能。
• 研究当特征向量条件（C1）被违反时方法的鲁棒性，尽管理论证明中依赖该假设。

提出的方法

• 将顶点间的图距离定义为它们之间长度为二的路径的期望数量，该定义源自邻接矩阵的结构。
• 利用图距离矩阵构建节点间的相似性度量，作为聚类的基础。
• 在图距离矩阵上应用谱聚类以恢复社区结构。
• 理论分析依赖于核矩阵 $\tilde{K}$ 的特征结构，其中条件（C1）要求 $\mathbf{1}$ 不是 $\tilde{K}$ 的特征向量。
• 证明在固定 $Q$ 的随机块模型下，只要 $P$ 和 $\boldsymbol{\pi}$ 满足温和条件，误标节点的概率随着 $n \to \infty$ 而趋于零。
• 将理论框架扩展至度校正块模型以及 $Q \to \infty$ 的情形（当 $n \to \infty$ 时），并推测类似的保证依然成立。

实验结果

研究问题

• RQ1 基于图距离的方法是否能在接近相变阈值的稀疏网络中实现社区检测的理论一致性？
• RQ2 在模拟和真实网络中，图距离方法与伪似然方法的性能相比如何？
• RQ3 当特征向量条件（C1）被违反时，该方法是否仍保持有效性，尽管理论证明中依赖该条件？
• RQ4 该方法能否推广至社区数量增长或存在度异质性的模型？
• RQ5 在真实网络（如政治博客网络和Facebook高校网络）中，该方法在多大程度上能恢复真实社区结构？

主要发现

• 基于图距离的方法实现了理论一致性：在固定 $Q$ 的随机块模型下，随着 $n \to \infty$，误标节点的比例趋于零。
• 在模拟实验中，该方法与伪似然方法表现相当，且在不同网络密度下具有相似的实证准确性。
• 在Facebook加州理工学院网络上的实证结果表明，基于图距离的社区与实际宿舍归属高度一致。
• 在政治博客网络（1222个节点，平均度27）上，该方法成功恢复了自由派/保守派的社区结构。
• 模拟结果表明，即使 $\mathbf{1}$ 是 $\tilde{K}$ 的特征向量，该方法仍保持有效性，提示条件（C1）可能过于严格。
• 理论保证已扩展至度校正块模型和 $Q \to \infty$ 的模型，基于相似的证明技术，推测其具有相同的一致性。