[论文解读] FrogWild! -- Fast PageRank Approximations on Graph Engines

Ioannis Mitliagkas, Michael Borokhovich+2 more|arXiv (Cornell University)|Feb 15, 2015

Graph Theory and Algorithms参考文献 3被引用 10

一句话总结

FrogWild! 提出了一种快速、通信高效的 PageRank 近似算法，该算法在 GraphLab 中使用带有部分同步的并行随机游走，与标准 PageRank 相比，将网络流量减少了高达 1,000 倍。该算法在 Twitter 等大规模图上每轮迭代可在一秒内完成高精度的 top-k PageRank 结果，其速度和可扩展性优于完整 PageRank 和减少迭代次数的启发式方法。

ABSTRACT

We propose FrogWild, a novel algorithm for fast approximation of high PageRank vertices, geared towards reducing network costs of running traditional PageRank algorithms. Our algorithm can be seen as a quantized version of power iteration that performs multiple parallel random walks over a directed graph. One important innovation is that we introduce a modification to the GraphLab framework that only partially synchronizes mirror vertices. This partial synchronization vastly reduces the network traffic generated by traditional PageRank algorithms, thus greatly reducing the per-iteration cost of PageRank. On the other hand, this partial synchronization also creates dependencies between the random walks used to estimate PageRank. Our main theoretical innovation is the analysis of the correlations introduced by this partial synchronization process and a bound establishing that our approximation is close to the true PageRank vector. We implement our algorithm in GraphLab and compare it against the default PageRank implementation. We show that our algorithm is very fast, performing each iteration in less than one second on the Twitter graph and can be up to 7x faster compared to the standard GraphLab PageRank implementation.

研究动机与目标

• 解决传统 PageRank 在 GraphLab 等分布式图引擎中通信和计算成本过高的问题。
• 实现在无需计算完整 PageRank 向量的前提下，对 top-k 高 PageRank 顶点进行快速、可扩展的近似。
• 通过修改 GraphLab 的批量同步并行（BSP）模型中的同步机制，减少迭代图算法中的网络流量。
• 尽管减少了同步和通信，仍保持 top-k PageRank 估计的高精度。
• 为实时应用（如社交网络影响力检测和关键词提取）提供一种实用且高效的替代方案。

提出的方法

• FrogWild! 在有向图上执行多个并行随机游走以估计 PageRank 分数，替代标准的幂迭代方法。
• 它在 GraphLab 中引入了一种新颖的部分同步机制，仅同步一部分镜像顶点，从而大幅减少网络流量。
• 该算法采用稀疏化步骤，以概率 $ q = 1 - r $ 保留边，减少图的规模，同时保持关键连通性。
• 它采用量化更新规则，每个顶点维护进入的随机游走次数，通过游走频率近似 PageRank 分数。
• 该方法动态平衡初始随机游走数量 $ N $ 和迭代次数，以调节精度与速度之间的权衡。
• 理论分析界定了部分同步引入的相关性，并证明了近似结果与真实 PageRank 向量接近。

实验结果

研究问题

• RQ1 在 GraphLab 中，部分同步能否显著减少类似 PageRank 的迭代图算法中的网络流量？
• RQ2 由部分同步引起的随机游走之间的相关性如何影响 PageRank 近似的精度？
• RQ3 通过优化参数的基于随机游走的方法能否在 top-k PageRank 估计的速度和通信成本方面优于标准 PageRank？
• RQ4 所需随机游走数量随图大小和期望精度的缩放行为如何？
• RQ5 FrogWild! 与替代近似策略（如图稀疏化后运行标准 PageRank）相比表现如何？

主要发现

• 在 Twitter 图上，FrogWild! 相较于标准 GraphLab PageRank 实现，网络流量最高减少 1,000 倍。
• 在 Twitter 图上，FrogWild! 的每轮迭代耗时不足一秒，相比默认的 GraphLab PageRank 最快提升 7 倍。
• 使用 800,000 个初始随机游走和 4 次迭代时，FrogWild! 的 Mass Captured 得分与完整 PageRank 相当，但耗时和网络带宽显著减少。
• 对于 Twitter 和 LiveJournal 图，800,000 个初始随机游走和 4 次迭代均达到最优精度与性能，表明其具有稳定的缩放行为。
• FrogWild! 在运行时间和网络效率方面优于基线的稀疏化 + PageRank 策略，同时保持相似的精度。
• 理论分析确认，尽管存在部分同步带来的相关性，近似误差仍保持有界，从而合理解释了实际性能的提升。