[论文解读] Active Community Detection in Massive Graphs

Heng Wang, Da Zheng+2 more|arXiv (Cornell University)|Dec 30, 2014

Complex Network Analysis Techniques参考文献 23被引用 4

一句话总结

本文提出了一种可扩展的框架，用于在大规模图中检测活跃社区。该框架首先通过局部性统计量识别最活跃的顶点，然后仅对这些顶点进行聚类。该方法通过一种可并行化的剪枝算法实现高效计算，仅需计算完整局部性统计量的一小部分，从而在包含350亿个顶点和1280亿条边的网页图上成功实现社区检测。

ABSTRACT

A canonical problem in graph mining is the detection of dense communities. This problem is exacerbated for a graph with a large order and size -- the number of vertices and edges -- as many community detection algorithms scale poorly. In this work we propose a novel framework for detecting active communities that consist of the most active vertices in massive graphs. The framework is applicable to graphs having billions of vertices and hundreds of billions of edges. Our framework utilizes a parallelizable trimming algorithm based on a locality statistic to filter out inactive vertices, and then clusters the remaining active vertices via spectral decomposition on their similarity matrix. We demonstrate the validity of our method with synthetic Stochastic Block Model graphs, using Adjusted Rand Index as the performance metric. We further demonstrate its practicality and efficiency on a most recent real-world Hyperlink Web graph consisting of over 3.5 billion vertices and 128 billion edges.

研究动机与目标

• 解决传统社区检测算法在百亿规模图上因规模和阶数过高而导致的计算不可行问题。
• 聚焦于检测密集且活跃的社区——即由最活跃顶点构成的社区——而非大规模网络中所有顶点。
• 开发一种可扩展且可并行化的剪枝算法，高效识别出最活跃顶点，而无需处理整个图。
• 在真实世界的大规模图数据集（如超链接网页图）上展示该框架的实际可行性和有效性。
• 为现有谱方法和基于模块度的方法提供一种计算高效的替代方案，这些方法在百亿节点图上扩展性差。

提出的方法

• 该框架使用局部性统计量衡量顶点活跃度，定义为在k跳邻域内共同邻居的数量。
• 一种可并行化的剪枝算法仅在部分顶点上计算局部性统计量，选择值最高的顶点形成精简的活跃顶点集合。
• 该算法在处理顶点数上实现亚线性时间复杂度，从而实现显著加速。
• 随后使用谱聚类对活跃顶点的相似性矩阵进行聚类，相似性矩阵通过Jaccard指数计算得出。
• 该方法应用于一个包含35亿个顶点和1280亿条边的真实世界超链接网页图。
• 使用经典多维尺度分析（MDS）将活跃顶点投影到二维空间，以可视化检测到的社区。

实验结果

研究问题

• RQ1 基于局部性统计量的方法是否能有效识别大规模图中最具活跃度的顶点，而无需处理所有顶点？
• RQ2 可并行化的剪枝算法在多大程度上能有效缩减顶点集，同时保持活跃社区的结构特征？
• RQ3 该框架在具有已知社区结构的合成图上是否能保持高聚类准确率？
• RQ4 该框架是否能在真实世界的大规模图（如超链接网页图）中检测出有意义且主题一致的社区？
• RQ5 在剪枝阶段处理的顶点数量变化时，计算成本与聚类性能之间的权衡如何？

主要发现

• 剪枝算法仅用计算全部顶点所需时间的3.7%就完成了前10,000个局部性统计量值的计算，实现了亚线性扩展。
• 在超链接图上，该方法成功识别出五个具有高度主题一致性的有意义活跃社区，包括社交媒体、在线购物和成人内容网站。
• 社区2是最大的社区，包含1,603个顶点，由单一成人付费顶级域网站的超链接构成，证实了其结构一致性。
• 该框架在合成随机块模型图上表现优异，调整兰德指数（Adjusted Rand Index）被用作聚类质量的有效度量指标。
• 该方法可扩展至包含最多35亿个顶点和1280亿条边的图，是首个在真实公开数据上应用于该规模的社区检测框架。
• 该框架通过仅关注活跃顶点显著降低了计算负担，仅需计算0.00032%的顶点局部性统计量即可找出前10,000个最活跃顶点。