[論文レビュー] FrogWild! -- Fast PageRank Approximations on Graph Engines

Ioannis Mitliagkas, Michael Borokhovich+2 more|arXiv (Cornell University)|Feb 15, 2015

Graph Theory and Algorithms参考文献 3被引用数 10

ひとこと要約

FrogWild! は、GraphLab における部分的同期を用いた並列ランダムウォークを採用することで、従来の PageRank と比較してネットワークトラフィックを最大 1,000× 減少させる高速で通信効率の高い PageRank 近似アルゴリズムを提案する。Twitter のような大規模グラフにおいて、1 回の反復あたり 1 秒未塔で高精度な top-k PageRank 結果を達成し、完全な PageRank や反復回数を減らしたヒューリスティクスを上回る速度とスケーラビリティを実現する。

ABSTRACT

We propose FrogWild, a novel algorithm for fast approximation of high PageRank vertices, geared towards reducing network costs of running traditional PageRank algorithms. Our algorithm can be seen as a quantized version of power iteration that performs multiple parallel random walks over a directed graph. One important innovation is that we introduce a modification to the GraphLab framework that only partially synchronizes mirror vertices. This partial synchronization vastly reduces the network traffic generated by traditional PageRank algorithms, thus greatly reducing the per-iteration cost of PageRank. On the other hand, this partial synchronization also creates dependencies between the random walks used to estimate PageRank. Our main theoretical innovation is the analysis of the correlations introduced by this partial synchronization process and a bound establishing that our approximation is close to the true PageRank vector. We implement our algorithm in GraphLab and compare it against the default PageRank implementation. We show that our algorithm is very fast, performing each iteration in less than one second on the Twitter graph and can be up to 7x faster compared to the standard GraphLab PageRank implementation.

研究の動機と目的

• GraphLab のような分散グラフエンジンにおける伝統的な PageRank の高い通信コストと計算コストを軽減すること。
• 完全な PageRank ベクトルを計算せずに、top-k の高い PageRank 順位の頂点を高速かつスケーラブルに近似すること。
• GraphLab のバルク同期並列（BSP）モデルにおける同期メカニズムを変更することで、反復的グラフアルゴリズムにおけるネットワークトラフィックを削減すること。
• 部分的同期と通信の削減にもかかわらず、top-k PageRank 近似の高精度を維持すること。
• ソーシャルネットワークの影響力検出やキーワード抽出などのリアルタイム応用のための実用的で効率的な代替手法を提供すること。

提案手法

• FrogWild! は、標準的なパワー反復の代わりに、有向グラフ上で複数の並列ランダムウォークを実行することで PageRank スコアを推定する。
• GraphLab に新規の部分的同期メカニズムを導入し、ミラー頂点の一部のみを同期することで、ネットワークトラフィックを著しく削減する。
• エッジの確率 $ q = 1 - r $ で保持するスパarsification ステップを採用し、グラフサイズを縮小しながらも主要な接続性を維持する。
• 各頂点がインバウンドのランダムウォークの数を保持する量子化更新ルールを採用し、ウォークの頻度によって PageRank スコアを近似する。
• 精度と速度のトレードオフを調整するため、初期ランダムウォーク数 $ N $ と反復回数を動的にバランスさせる。
• 理論的分析により、部分的同期によって生じる相関の上限を評価し、近似が真の PageRank ベクトルに近いことを証明する。

実験結果

リサーチクエスチョン

• RQ1 GraphLab における部分的同期は、PageRank のような反復的グラフアルゴリズムにおけるネットワークトラフィックを顕著に削減できるか？
• RQ2 部分的同期によって引き起こされるランダムウォーク間の相関は、PageRank 近似の精度にどのように影響するか？
• RQ3 最適化されたパrameter を用いたランダムウォークベースのアプローチは、top-k PageRank 近似において、標準的な PageRank よりも速度と通信コストの点で優れているか？
• RQ4 グラフサイズと所望の精度に応じて、必要なランダムウォーク数はどのようにスケーリングするか？
• RQ5 FrogWild! は、グラフスパースフィケーション followed by 標準的な PageRank といった代替の近似戦略と比較して、どのように性能を発揮するか？

主な発見

• FrogWild! は、Twitter グラフにおいて、標準的な GraphLab PageRank 実装と比較して、ネットワークトラフィックを最大 1,000× 削減した。
• FrogWild! の各反復は、Twitter グラフにおいて 1 秒未塔で実行され、デフォルトの GraphLab PageRank と比較して最大 7 倍の高速化を達成した。
• 800,000 回の初期ランダムウォークと 4 回の反復を用いることで、FrogWild! は完全な PageRank と同等の Mass Captured スコアを達成し、はるかに少ない時間とネットワーク帯域幅を要した。
• Twitter および LiveJournal グラフの両方において、800,000 回の初期ランダムウォークと 4 回の反復が、最適な精度とパフォーマンスをもたらし、安定したスケーリング特性を示した。
• FrogWild! は、ベースラインのスパースフィケーション + PageRank 戦略よりも実行時間とネットワーク効率で優れており、同程度の精度を維持した。
• 理論的分析により、部分的同期による相関にもかかわらず、近似誤差が有界であることが確認され、実用的なパフォーマンス向上の根拠が裏付けられた。