[论文解读] Graph partitioning and a componentwise PageRank algorithm

Christopher Engström, Sergei Silvestrov|arXiv (Cornell University)|Sep 28, 2016

Data Management and Algorithms参考文献 6被引用 3

一句话总结

本文提出了一种新颖的图划分方法，将有向图划分为强连通分量（SCCs）和连通无环分量（CACs），从而实现并行化和分量特定的PageRank计算。通过利用划分后图的层次结构，该方法减少了总迭代次数并加速了收敛，尤其在大规模图和低误差容差下表现更优，在串行和并行设置下均优于标准幂迭代方法。

ABSTRACT

In this article we will present a graph partitioning algorithm which partitions a graph into two different types of components: the well-known `strongly connected components' as well as another type of components we call `connected acyclic component'. We will give an algorithm based on Tarjan's algorithm for finding strongly connected components used to find such a partitioning. We will also show that the partitioning given by the algorithm is unique and that the underlying graph can be represented as a directed acyclic graph (similar to a pure strongly connected component partitioning). In the second part we will show how such an partitioning of a graph can be used to calculate PageRank of a graph effectively by calculating PageRank for different components on the same `level' in parallel as well as allowing for the use of different types of PageRank algorithms for different types of components. To evaluate the method we have calculated PageRank on four large example graphs and compared it with a basic approach, as well as our algorithm in a serial as well as parallel implementation.

研究动机与目标

• 开发一种图划分算法，将有向图分解为强连通分量（SCCs）和连通无环分量（CACs），以改进PageRank计算。
• 通过利用划分后图的层次结构，实现分量间并行化和分量特定的PageRank计算。
• 通过隔离具有不同结构特性的分量，减少达到收敛所需的幂迭代次数。
• 使用大规模真实世界和合成图，评估所提方法与标准PageRank的性能表现。
• 探索该方法在内存受限环境中的潜力以及对增量更新的支持能力。

提出的方法

• 使用改进的Tarjan算法识别强连通分量（SCCs），并从图的缩略图中推导出连通无环分量（CACs）。
• 根据分量在分量的有向无环图（DAG）中的位置，为每个分量分配一个层级，实现从上至下的分层处理。
• 应用CAC-PageRank算法，由于CAC的无环特性，每个层级仅需一次迭代即可完成PageRank计算。
• 应用SCC-PageRank算法，在每个SCC内使用标准幂迭代，利用其强连通性优势。
• 通过层级式传播模型组合CAC和SCC分量的结果，确保图中的一致性。
• 实现算法的串行与并行版本，其中并行化在相同层级的分量之间进行。

实验结果

研究问题

• RQ1 基于SCCs和CACs的图划分策略是否能减少PageRank收敛所需的幂迭代次数？
• RQ2 在运行时间和收敛速度方面，分量式PageRank算法与标准幂迭代相比表现如何？
• RQ3 在相同层级的分量之间并行化能在多大程度上提升性能，尤其是在大规模图中？
• RQ4 随着误差容差降低，该方法的可扩展性如何？在高精度下是否仍保持效率？
• RQ5 分量特定的方法是否能实现图修改后PageRank的更快更新？

主要发现

• 所提出的划分算法能将图唯一地分解为SCCs和CACs，形成一个分量的有向无环图（DAG）。
• 该方法显著减少了收敛所需的幂迭代次数，尤其在高连通性的大规模图中效果明显。
• 对于Barabási-Albert模型图，PageRank计算时间在不同误差容差下几乎保持不变，表明其具有鲁棒性和高效性。
• 随着图规模增大和误差容差降低，串行实现优于基本的幂迭代方法。
• 并行实现的开销高于预期，表明在低层内存管理和任务调度方面仍有优化空间。
• 分量特定的方法在SCC数量较少的图（如无标度网络）中实现了更快收敛，原因在于CAC中迭代次数的减少。