[论文解读] Clique counting in MapReduce: theory and experiments

Irene Finocchi, Marco Finocchi+1 more|arXiv (Cornell University)|Mar 4, 2014

Complex Network Analysis Techniques参考文献 40被引用 14

一句话总结

本文提出了首个可扩展的、精确的 MapReduce 算法，用于在大规模图中计数 k-团，实现了最优的计算复杂度 O(m^{k/2}) 和 O(m^{3/2}) 的总空间复杂度，且通信成本与 k 无关。此外，还提出了一种高度精确的基于采样的估计器，显著降低了运行时间和空间消耗，同时保持了高精度，尤其在 k 较大和图较密集时表现优异。

ABSTRACT

We tackle the problem of counting the number of $k$-cliques in large-scale graphs, for any constant $k \ge 3$. Clique counting is essential in a variety of applications, among which social network analysis. Due to its computationally intensive nature, we settle for parallel solutions in the MapReduce framework, which has become in the last few years a {\em de facto} standard for batch processing of massive data sets. We give both theoretical and experimental contributions. On the theory side, we design the first exact scalable algorithm for counting (and listing) $k$-cliques. Our algorithm uses $O(m^{3/2})$ total space and $O(m^{k/2})$ work, where $m$ is the number of graph edges. This matches the best-known bounds for triangle listing when $k=3$ and is work-optimal in the worst case for any $k$, while keeping the communication cost independent of $k$. We also design a sampling-based estimator that can dramatically reduce the running time and space requirements of the exact approach, while providing very accurate solutions with high probability. We then assess the effectiveness of different clique counting approaches through an extensive experimental analysis over the Amazon EC2 platform, considering both our algorithms and their state-of-the-art competitors. The experimental results clearly highlight the algorithm of choice in different scenarios and prove our exact approach to be the most effective when the number of $k$-cliques is large, gracefully scaling to non-trivial values of $k$ even on clusters of small/medium size. Our approximation algorithm achieves extremely accurate estimates and large speedups, especially on the toughest instances for the exact algorithms. As a side effect, our study also sheds light on the number of $k$-cliques of several real-world graphs, mainly social networks, and on its growth rate as a function of $k$.

研究动机与目标

• 解决在具有高聚类系数的社会网络等大规模图中高效计数 k-团的挑战。
• 设计一种理论上最优、可扩展的 MapReduce 算法，用于精确的 k-团计数，以最小化计算量和通信成本。
• 开发一种基于采样的近似方法，显著降低运行时间和空间使用，同时保持高精度。
• 在 Amazon EC2 上使用真实世界图谱对精确和近似算法进行实验评估，以确定不同工作负载和 k 值下的性能权衡。

提出的方法

• 设计一种基于高阶度顶点划分图的 MapReduce 算法，并采用两阶段方法：第一阶段，将每个顶点映射到其高阶度邻居；第二阶段，在诱导子图中计数 (k-1)-团。
• 通过将每个归约器处理的边数限制在 O(m^{(k-1)/2})，总空间限制在 O(m^{3/2})，实现计算最优性，且与 k 无关。
• 实现一种基于颜色的采样技术，使第二轮处理的 2-路径数量减少 p^{k-2} 倍，从而在效率和精度上优于普通采样。
• 引入一种递归工作负载分发策略，将大高阶邻域的团计数延迟处理，以全局空间换局部计算时间，实现优化。
• 利用 MapReduce 抽象机制自动处理容错、负载均衡和数据洗牌，使研究重点集中于算法设计。
• 应用概率论中的集中不等式，证明采样估计器在高概率下具有高度准确性，且对 k=3 的情况，所需概率条件弱于先前工作。

实验结果

研究问题

• RQ1 能否设计一种精确且可扩展的 MapReduce 算法用于 k-团计数，使其达到最优计算复杂度，并实现与 k 无关的通信成本？
• RQ2 如何有效利用采样技术，在显著降低运行时间和空间消耗的同时，保持最小的精度损失来近似 k-团计数？
• RQ3 在不同真实世界图谱和 k 值下，精确算法与近似算法之间的性能权衡如何？
• RQ4 基于采样的估计器的精度和加速比如何随 k 增大和采样概率变化而变化？
• RQ5 该算法在不显著降低性能的前提下，能够在多大规模的图和中小型集群上实现多大程度的可扩展性？

主要发现

• 精确的 k-团计数算法实现了 O(m^{k/2}) 的计算量和 O(m^{3/2}) 的总空间复杂度，与三角形计数（k=3）的最佳已知界限一致，且对任意 k 均为计算最优。
• 通信成本始终保持在 O(m^{3/2})，与 k 无关，优于先前的多路连接方法，因此在 k 较大时更具可扩展性。
• 基于颜色的采样估计器在 socLiveJ1 图上对 k=6 的情况将运行时间减少了高达 24 倍，近似误差仅为 0.61%。
• 对于 k=3，该采样估计器所需概率条件弱于 Pagh 和 Tsourakakis 提出的三角形计数方法，从而提升了理论保证。
• 该算法在真实世界图谱（如 egoGplus 和 orkut）上可顺利扩展至 k=7，近似方法使原本需数小时的精确计算可在几分钟内完成。
• 实验结果表明，在真实世界社交网络中，k-团的数量随 k 的增加而迅速增长，因此高效的近似方法对实际分析至关重要。