[论文解读] Community Detection by Information Flow Simulation

Rajagopal Venkatesaramani, Yevgeniy Vorobeychik|arXiv (Cornell University)|May 13, 2018

Complex Network Analysis Techniques参考文献 17被引用 3

一句话总结

该论文提出了一种快速、可扩展的社区检测算法，通过将边建模为概率路径来模拟有向加权图中的信息流。该算法实现$Ó(|E|)$的时间和空间复杂度，在YouTube和Wikipedia等大规模网络上，其速度和准确性均优于MCL，而MCL在这些网络上无法扩展。

ABSTRACT

Community detection remains an important problem in data mining, owing to the lack of scalable algorithms that exploit all aspects of available data - namely the directionality of flow of information and the dynamics thereof. Most existing methods use measures of connectedness in the graphical structure. In this paper, we present a fast, scalable algorithm to detect communities in directed, weighted graph representations of social networks by simulating flow of information through them. By design, our algorithm naturally handles undirected or unweighted networks as well. Our algorithm runs in $\mathcal{O}(|E|)$ time, which is better than most existing work and uses $\mathcal{O}(|E|)$ space and hence scales easily to very large datasets. Finally, we show that our algorithm outperforms the state-of-the-art Markov Clustering Algorithm (MCL) in both accuracy and scalability on ground truth data (in a number of cases, we can find communities in graphs too large for MCL).

研究动机与目标

• 解决缺乏能够利用社交网络中信息流方向性和动态性的可扩展社区检测算法的问题。
• 克服现有方法依赖静态连通性度量而无法扩展到大规模真实网络的局限性。
• 开发一种动态的、基于信息流的方法，自然地处理无向和无权网络，同时保持高性能。
• 实现线性时间与空间复杂度，以支持处理非常大规模的数据集，如Facebook、YouTube和Wikipedia的数据。
• 在准确性和可扩展性方面，优于SOTA方法（如MCL），特别是在具有复杂社区结构的挑战性数据集上表现更优。

提出的方法

• 将社交网络表示为有向加权图，其中边权重反映节点间信息流的概率。
• 通过将边视为概率性传输路径，从每个节点模拟信息流传播，使用动态数据结构而非稀疏矩阵。
• 采用随机化、迭代过程模拟流传播，识别作为信息源头的有影响力节点。
• 基于流汇聚设计聚类机制，将从共同源头接收显著信息流的节点分组。
• 利用小世界效应和社区结构特性，界定预期运行时间并确保效率。
• 通过确保线性时间复杂度（$Ó(|E|)$）和线性空间使用（$Ó(|E|)$），优化大规模图的处理能力，支持处理包含数百万条边的图。

实验结果

研究问题

• RQ1 在保持线性时间与空间复杂度的前提下，有向加权图中的信息流模拟能否有效检测社区？
• RQ2 在真实世界的大规模网络中，该算法与MCL在准确性和可扩展性方面相比如何？
• RQ3 当以往方法（包括MCL）无法检测出有意义的社区结构时，该算法的性能表现如何？
• RQ4 该算法的性能指标（如假阳率/假阴率、凝聚度）在不同网络类型和聚类规模下如何变化？
• RQ5 当缺乏真实标签时，能否通过参数$k$有效调节算法，以检测不同大小和密度的社区？

主要发现

• 该算法的时间和空间复杂度均为$Ó(|E|)$，具有高度可扩展性，可处理高达2850万条边的图，如Wikipedia数据集。
• 在YouTube数据集上——此前对社区检测具有挑战性——我们的算法实现了0.15的假阳率和低于0.02的假阴率，且采样无偏。
• 在DBLP和Email Eu Core网络上，尽管MCL的凝聚度得分更低，我们的方法在准确性上仍优于MCL，表明凝聚度本身并非可靠指标。
• 在Wikipedia网络（2850万条边）上，我们的算法耗时3小时4分钟完成，而MCL无法扩展，未能完成计算。
• 在YouTube网络（598万条边）上，我们的算法耗时1小时7分钟运行完成，而MCL无法扩展，无法处理该数据集。
• 该算法的运行时间几乎与边数呈线性关系，验证了定理5.4中推导的理论时间上界。