[论文解读] Fully distributed PageRank computation with exponential convergence

Liang Dai, Nikolaos M. Freris|arXiv (Cornell University)|May 28, 2017

Neural Networks and Reservoir Computing参考文献 15被引用 7

一句话总结

该论文提出了一种完全分布式的PageRank算法，采用随机匹配追踪方法，以期望指数收敛速度计算PageRank向量。每个网页仅使用出站链接进行更新，每个节点仅需存储两个标量值，且在无需全局网络规模知识或入站邻居信息的情况下，实现了快速、可扩展的收敛。

ABSTRACT

This work studies a fully distributed algorithm for computing the PageRank vector, which is inspired by the Matching Pursuit and features: 1) a fully distributed implementation 2) convergence in expectation with exponential rate 3) low storage requirement (two scalar values per page). Illustrative experiments are conducted to verify the findings.

研究动机与目标

• 解决大规模网络中集中式PageRank计算的可扩展性与分布性挑战。
• 克服现有分布式方法需要了解入站邻居信息或收敛速度为次指数级的局限性。
• 设计一种完全分布式的算法，仅依赖出站链接信息，并避免对全局网络规模的依赖。
• 在期望下实现指数收敛速率，优于以往基于随机逼近方法的次指数收敛速率。
• 将存储需求最小化至每个网页仅两个标量值，同时保持准确性与可扩展性。

提出的方法

• 提出一种基于随机匹配追踪的算法，每轮迭代中均匀随机选择一个网页。
• 每个被选中的网页仅使用本地信息，与自身的出站邻居进行通信并更新其PageRank估计值。
• 更新规则从信号分解的角度推导得出，将PageRank计算视为在网络邻接结构上的匹配追踪。
• 采用残差更新机制，跟踪当前估计值与目标PageRank向量之间的误差。
• 在更新动态中隐式嵌入Polyak型平均的随机逼近框架。
• 引入一种基于零空间投影的独立分布式网络规模估计算法，该算法同样实现指数收敛，并支持无规模依赖的计算。

实验结果

研究问题

• RQ1 能否设计一种完全分布式的PageRank算法，仅依赖出站链接信息且无需知晓网络规模？
• RQ2 此类算法是否能在期望下实现指数收敛，优于现有基于随机逼近方法的次指数收敛速率？
• RQ3 在仅维持每个节点两个标量存储需求的前提下，是否能够确保收敛至正确的PageRank向量？
• RQ4 如何仅通过本地通信且无需全局协调，实现对网络规模的分布式、精确估计？
• RQ5 所提算法在均方误差方面的收敛行为如何？与现有方法在实际应用中相比表现如何？

主要发现

• 所提算法在期望下实现指数收敛，其期望平方误差 $\mathbb{E}[\|\mathbf{x}_t - \mathbf{x}^*\|^2]$ 以指数速率下降。
• 仿真结果证实，该方法收敛速度优于文献[6]中所提方法（后者呈现次指数收敛），表现为误差轨迹衰减更陡峭。
• 与[6]相比，所提方法的误差轨迹方差显著更低，表明其收敛过程更加稳定。
• 网络规模估计算法（算法2）同样实现指数收敛，$\|\mathbf{s}_t - \mathbf{s}\|^2$ 以指数速率下降，从而支持无规模依赖的PageRank计算。
• 在合成网络上的实验表明，所提方法的收敛速度与[15]和[6]相当或更优，且在100次仿真运行中，误差均呈指数且一致地下降。
• 该算法完全分布，无需存储入站邻居列表，从而将通信开销与存储复杂度降低至每个节点仅两个标量。