[论文解读] Fast community detection using local neighbourhood search

Arnaud Browet, Pierre-Antoine Absil+1 more|arXiv (Cornell University)|Aug 28, 2013

Complex Network Analysis Techniques参考文献 1被引用 4

一句话总结

本文提出了一种基于局部邻域搜索的快速、高度可并行化的社区检测算法，通过使用树状分配图同步更新节点分配，加速了Louvain方法。在LFR基准图上，该方法相较于原始Louvain方法实现了高达20倍的加速，同时保持了相近的模块度和标准化互信息（NMI）得分。

ABSTRACT

Communities play a crucial role to describe and analyse modern networks. However, the size of those networks has grown tremendously with the increase of computational power and data storage. While various methods have been developed to extract community structures, their computational cost or the difficulty to parallelize existing algorithms make partitioning real networks into communities a challenging problem. In this paper, we propose to alter an efficient algorithm, the Louvain method, such that communities are defined as the connected components of a tree-like assignment graph. Within this framework, we precisely describe the different steps of our algorithm and demonstrate its highly parallelizable nature. We then show that despite its simplicity, our algorithm has a partitioning quality similar to the original method on benchmark graphs and even outperforms other algorithms. We also show that, even on a single processor, our method is much faster and allows the analysis of very large networks.

研究动机与目标

• 解决现有方法因时间复杂度高且并行性差，导致大规模网络中社区检测存在计算瓶颈的问题。
• 通过支持节点社区分配的同步并行更新，提升Louvain算法的可扩展性。
• 在显著降低运行时间的同时，保持与原始Louvain方法相当的高质量社区划分。
• 通过减少收敛所需的迭代次数，实现对超大规模网络（包括加权和真实世界图）的高效分析。

提出的方法

• 通过将社区定义为基于节点分配构建的树状分配图的连通分量，重新表述Louvain方法。
• 引入两种校正机制：一种基于局部邻域密度，另一种基于每个节点分配路径的末端，以指导同步更新。
• 采用同步更新策略，多个节点根据分配图结构同时切换社区，实现高并行性。
• 使用模块度或常数Potts模型（CPM）优化代价函数，社区分配由局部邻域信息和边权重驱动。
• 在每次迭代中动态构建分配图，每个节点的分配基于其邻居的社区结构和当前分配状态进行更新。
• 通过局部搜索和基于图的分配变更传播，高效识别稳定分区，从而减少收敛所需的迭代次数。

实验结果

研究问题

• RQ1 能否修改Louvain算法，使其在不牺牲分区质量的前提下，实现节点社区分配的完全同步并行更新？
• RQ2 所提出的局部邻域搜索策略是否能减少收敛所需的迭代次数，相较于原始的串行Louvain方法？
• RQ3 该新算法在网络规模增大时，其性能（特别是运行时间和内存使用）如何扩展？
• RQ4 与最先进方法相比，该算法在基准图上保持高质量社区检测（以模块度和NMI衡量）的程度如何？
• RQ5 为何该算法在无权网络上表现较差，这与所需校正次数有何关联？

主要发现

• 所提算法在大规模LFR基准图上，相较于经典Louvain方法，实现了高达20倍的加速，且在所有测试网络规模下均表现出一致的性能提升。
• 尽管采用同步更新，该算法保持的社区划分质量与原始Louvain方法几乎完全一致，基准图上的共聚NMI曲线充分证明了这一点。
• 由于基于分配图和节点末端信息的高效大规模更新，收敛所需的迭代次数显著减少。
• 该算法在无权网络上效果较差，原因是所需校正次数较多，尽管底层逻辑相同，但计算开销显著增加。
• 在计算效率方面，该方法优于其他最先进算法，尤其在大规模图上表现更优，且适用于并行或分布式架构的实现。
• 该算法对分辨率极限问题具有鲁棒性，特别是当使用常数Potts模型（CPM）时，其生成的分区质量优于模块度，尤其在大规模网络中。