[论文解读] A Streaming Algorithm for Graph Clustering

Alexandre Hollocou, Julien Maudet+2 more|arXiv (Cornell University)|Dec 9, 2017

Complex Network Analysis Techniques被引用 3

一句话总结

该论文提出了一种流式图聚类算法，仅用每个节点三个整数的存储空间，在单次遍历中处理边，实现线性时间与空间复杂度。该算法在十亿条边的图上运行速度比现有最先进方法快逾十倍，同时保持或提升聚类质量，尤其在大规模网络（如 Friendster 和 Orkut）上表现优异。

ABSTRACT

We introduce a novel algorithm to perform graph clustering in the edge streaming setting. In this model, the graph is presented as a sequence of edges that can be processed strictly once. Our streaming algorithm has an extremely low memory footprint as it stores only three integers per node and does not keep any edge in memory. We provide a theoretical justification of the design of the algorithm based on the modularity function, which is a usual metric to evaluate the quality of a graph partition. We perform experiments on massive real-life graphs ranging from one million to more than one billion edges and we show that this new algorithm runs more than ten times faster than existing algorithms and leads to similar or better detection scores on the largest graphs.

研究动机与目标

• 解决现实应用中大规模图（如社交网络和网页图）超出主内存容量的聚类挑战。
• 设计一种流式算法，仅对每条边处理一次，无需存储整个图，从而实现对十亿条边网络的可扩展性。
• 开发一种轻量级聚类方法，仅需每个节点三个整数的极小内存开销，同时保持高质量的社区检测能力。
• 基于模块度函数对算法设计提供理论依据，确保在特定假设下，每次边更新均能提升模块度。
• 证明该算法在大规模图上实现的聚类质量优于或至少不逊于现有方法，尽管其效率极高。

提出的方法

• 该算法以仅插入的流式方式处理边，每条边仅被检查一次，无需存储完整图。
• 对每个节点，维护三个整数：当前社区索引、当前度数（已处理边的数量）以及社区内度数之和（社区体积）。
• 当新边 (i,j) 到达时，算法根据阈值参数 $v_{\mathrm{max}}$ 以及节点 i 和 j 所属社区的体积，决定是否合并这两个社区。
• 该决策规则通过模块度函数进行理论证明，确保在特定假设下，合并操作能提升模块度。
• 该方法仅使用极简的摘要结构——每个节点仅三个整数，因此相比存储完整边列表，具有极高的内存效率。
• 该方法为确定性算法，仅需调节一个参数 $v_{\mathrm{max}}$，用于控制社区合并的敏感度。

实验结果

研究问题

• RQ1 能否设计一种图聚类算法，实现对大规模图的单次遍历处理，且内存使用极低？
• RQ2 如何将模块度函数适配到流式环境中，以确保社区合并能提升聚类质量？
• RQ3 在十亿条边的图上使用流式算法时，速度与聚类质量之间的权衡如何？
• RQ4 流式算法能否在超大规模图上实现优于或至少不逊于 Louvain 和 SCD 等最先进算法的检测得分？
• RQ5 在处理超过十亿条边的图时，该算法在执行时间与内存消耗方面的可扩展性如何？

主要发现

• 该算法在 Friendster 图（18亿条边）上耗时241秒，仅比 Unix 的 'cat' 命令（仅读取边列表）慢59秒，表明其开销极低。
• 在 Friendster 数据集上，该算法运行速度比 Louvain 和 SCD 快逾十倍，而后者在该规模下无法完成计算。
• 内存消耗大幅降低：该算法在 Friendster 上仅使用1.6 GB内存，而仅存储边列表就需28.9 GB。
• 在 LiveJournal、Orkut 和 Friendster 等大规模图上，该算法的 F1 分数高于 SCD 和 Louvain，其中 LiveJournal 的 F1 为0.28，Orkut 的 F1 为0.44。
• 该算法在小规模图上的 NMI 分数具有竞争力，在大规模图上则显著更优，Orkut 上的 NMI 为0.24，Friendster 上的 F1 为0.19，而其他算法在该规模下无法计算 NMI。
• 理论分析表明，在特定假设下，每次边处理步骤均能提升模块度，从而为算法设计选择提供理论支持。