[论文解读] Asynchronous iterative computations with Web information retrieval structures: The PageRank case

Giorgios Kollias, Efstratios Gallopoulos+1 more|ArXiv.org|Jun 11, 2006

Distributed and Parallel Computing Systems参考文献 20被引用 35

一句话总结

本文提出了一种用于在大规模Web图上计算PageRank的异步迭代方法，利用分布式计算避免同步瓶颈。通过用异步更新替代同步消息传递，尽管消息量更高，但实现了10–20%的性能提升，证明了在类似Grid等异构平台上的大规模信息检索中该方法的可行性。

ABSTRACT

There are several ideas being used today for Web information retrieval, and specifically in Web search engines. The PageRank algorithm is one of those that introduce a content-neutral ranking function over Web pages. This ranking is applied to the set of pages returned by the Google search engine in response to posting a search query. PageRank is based in part on two simple common sense concepts: (i)A page is important if many important pages include links to it. (ii)A page containing many links has reduced impact on the importance of the pages it links to. In this paper we focus on asynchronous iterative schemes to compute PageRank over large sets of Web pages. The elimination of the synchronizing phases is expected to be advantageous on heterogeneous platforms. The motivation for a possible move to such large scale distributed platforms lies in the size of matrices representing Web structure. In orders of magnitude: $10^{10}$ pages with $10^{11}$ nonzero elements and $10^{12}$ bytes just to store a small percentage of the Web (the already crawled); distributed memory machines are necessary for such computations. The present research is part of our general objective, to explore the potential of asynchronous computational models as an underlying framework for very large scale computations over the Grid. The area of ``internet algorithmics'' appears to offer many occasions for computations of unprecedent dimensionality that would be good candidates for this framework.

研究动机与目标

• 解决在大规模Web图上计算PageRank时同步迭代方法的可扩展性限制。
• 探索异步计算模型在大规模分布式系统（尤其是Grid）中的可行性。
• 通过消除全局屏障和锁来减少迭代PageRank计算中的同步开销。
• 评估放宽收敛准则对排名质量的影响，重点关注相对而非绝对的PageRank值。
• 研究自适应通信策略，以缓解全对全消息传递模式下的网络拥塞。

提出的方法

• 使用标准PageRank公式，其中G = αS + (1−α)ve^T，S为从Web链接结构导出的随机转移矩阵。
• 通过异步迭代应用幂法：x(t+1) = Gx(t)，每步不进行归一化处理，以保持l1-范数不变。
• 在分布式环境中使用非阻塞发送/接收操作实现消息传递，使计算能独立于通信完成而进行。
• 采用动态消息取消机制，防止通信延迟导致的网络缓冲区溢出。
• 采用基于相对排名稳定性的宽松收敛准则，而非绝对残差阈值。
• 采用基于树的通信拓扑作为全对全方案的潜在替代，以减少通信开销。

实验结果

研究问题

• RQ1 尽管消息量更高，异步迭代方法是否能在PageRank计算中优于同步方法？
• RQ2 缺乏全局同步对大规模PageRank计算中收敛性和排名准确性有何影响？
• RQ3 在缺乏严格残差阈值的情况下，放宽收敛准则在多大程度上能保持网页的相对排名？
• RQ4 通信模式和网络带宽限制如何影响异步迭代算法在分布式PageRank计算中的性能？
• RQ5 自适应通信策略是否能减少网络拥塞并提升异构分布式环境中的可扩展性？

主要发现

• 异步计算相比同步方法实现了10–20%的适度加速，主要得益于消除了同步开销。
• 异步方法的消息生成速率高于同步方法，增加了网络负载，但促进了更快的本地迭代进度。
• 尽管消息量增加，该算法仍保持稳定，并收敛到具有可接受相对排名质量的解。
• 异步情况下，各节点的消息导入完成率在28%至45%之间，表明通信周期不完整，但仍足以实现收敛。
• 当前全对全通信模式即使在中等规模集群中也会使网络带宽饱和，凸显了对拓扑感知或自适应通信方案的需求。
• 作者得出结论：只有在通信被最小化或实现自适应时，异步方法才适用于大规模迭代计算，尤其是在Grid等异构环境中。