[論文レビュー] Fully distributed PageRank computation with exponential convergence

Liang Dai, Nikolaos M. Freris|arXiv (Cornell University)|May 28, 2017

Neural Networks and Reservoir Computing参考文献 15被引用数 7

ひとこと要約

本稿では、期待値において指数的収束を達成するランダム化マッチング・プルーリングを用いた完全分散型PageRankアルゴリズムを提案する。各ウェブページは出リンクのみを用いて更新され、ノードあたり2つのスカラー値のみを保持し、グローバルなネットワークサイズの知識やインcomingネイバー情報が不要である。これにより、高速かつスケーラブルな収束が達成される。

ABSTRACT

This work studies a fully distributed algorithm for computing the PageRank vector, which is inspired by the Matching Pursuit and features: 1) a fully distributed implementation 2) convergence in expectation with exponential rate 3) low storage requirement (two scalar values per page). Illustrative experiments are conducted to verify the findings.

研究の動機と目的

• 大規模ネットワークにおける集中型PageRank計算のスケーラビリティと分散性の課題に対処すること。
• インcomingネイバーの知識を必要とするか、部分的指数的収束に苦しむ既存の分散手法の制限を克服すること。
• グローバルなネットワークサイズ依存性を回避し、出リンク情報のみを用いる完全分散型アルゴリズムを設計すること。
• 期待値において指数的収束レートを達成し、従来の確率的近似に基づく手法の部分的指数的収束レートを上回ること。
• 正確性とスケーラビリティを維持しながら、ウェブページあたり2つのスカラー値にまでストレージ要件を最小限に抑えること。

提案手法

• 各イテレーションで一様にランダムに選択された1つのウェブページが、ランダム化マッチング・プルーリングに基づくアルゴリズムを用いる。
• 選択されたウェブページは、ローカル情報のみを用いて、その出リンク先のネイバーと通信し、PageRank推定値を更新する。
• 更新ルールは信号分解の観点から導出され、PageRank計算をネットワークの隣接構造上のマッチング・プルーリングとして扱う。
• 現在の推定値と目標のPageRankベクトルとの間の誤差を追跡する残差更新メカニズムを採用する。
• ポリャク型平均化が更新ダイナミクスに暗黙的に埋め込まれた確率的近似フレームワークを用いる。
• 別個の分散ネットワークサイズ推定アルゴリズムを導入し、ヌル空間射影に基づくもので、これも指数的収束を示し、サイズに依存しない計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 出リンク情報のみを必要とし、ネットワークサイズの知識が不要な完全分散型PageRankアルゴリズムを設計できるか？
• RQ2 このようなアルゴリズムが、既存の確率的近似手法の部分的指数的収束レートを上回る、期待値において指数的収束を達成できるか？
• RQ3 ノードあたり2つのスカラー値という低ストレージ要件を維持しながら、正しいPageRankベクトルへの収束を保証できるか？
• RQ4 グローバルな調整なしに、ローカル通信のみを用いて、正確に分散的にネットワークサイズを推定できるか？
• RQ5 提案手法の収束行動は平均二乗誤差の観点でどのように評価できるか？実際の応用において、既存手法と比較してどのように差がつくか？

主な発見

• 提案手法は期待値において指数的収束を達成し、期待二乗誤差 $\mathbb{E}[\|\mathbf{x}_t - \mathbf{x}^*\|^2]$ が指数的レートで減少する。
• シミュレーション結果により、[6]の手法が部分的指数的収束を示すのに対し、本手法は誤差軌跡の減少が急峻であることが確認され、収束が速いことが示された。
• 本手法の誤差軌跡の分散は[6]よりも著しく低く、収束がより安定していることが示された。
• ネットワークサイズ推定アルゴリズム（アルゴリズム2）も指数的収束を示し、$\|\mathbf{s}_t - \mathbf{s}\|^2$ が指数的レートで減少する。これにより、サイズに依存しないPageRank計算が可能になる。
• 合成ネットワークを用いた実験では、本手法は[15]および[6]と同等またはそれ以上の収束速度を達成しており、100回のシミュレーション実行において、誤差が一貫して指数的に減少した。
• アルゴリズムは完全に分散型であり、インcomingネイバーのリストを保持する必要がなく、通信オーバーヘッドとストレージ複雑性をノードあたり2つのスカラー値にまで低減した。