[論文レビュー] Eigenvector Computation and Community Detection in Asynchronous Gossip Models

Frederik Mallmann-Trenn, Cameron Musco+1 more|arXiv (Cornell University)|Apr 23, 2018

Complex Network Analysis Techniques被引用数 6

ひとこと要約

本稿では、ネットワークの隣接行列の上位固有ベクトルを計算するための新しい非同期分散アルゴリズムを提示する。これはOjaのストリーミングPCAアルゴリズムの変更版を用いており、ストークスティックブロックモデルおよび確率的通信モデル下で、最先端のコミュニティ検出性能を達成する。収束保証が明示されており、固有ベクトル近似およびコミュニティ回復の時間計算量の上限が向上している。

ABSTRACT

We give a simple distributed algorithm for computing adjacency matrix eigenvectors for the communication graph in an asynchronous gossip model. We show how to use this algorithm to give state-of-the-art asynchronous community detection algorithms when the communication graph is drawn from the well-studied stochastic block model. Our methods also apply to a natural alternative model of randomized communication, where nodes within a community communicate more frequently than nodes in different communities. Our analysis simplifies and generalizes prior work by forging a connection between asynchronous eigenvector computation and Oja's algorithm for streaming principal component analysis. We hope that our work serves as a starting point for building further connections between the analysis of stochastic iterative methods, like Oja's algorithm, and work on asynchronous and gossip-type algorithms for distributed computation.

研究の動機と目的

• ガスピングベースの通信モデルにおいて、ネットワークの隣接行列の上位固有ベクトルを分散的・非同期的に計算するアルゴリズムを開発すること。
• この固有ベクトル計算を、コミュニティ内通信バイアスを有するストークスティックブロックモデルおよび関連モデルにおけるコミュニティ検出の改善に応用すること。
• 非同期および確率的スケジューリング下での固有ベクトル近似に対して、有限時間収束保証を確立すること。
• ストリーミング反復手法（Ojaのアルゴリズムなど）の解析と非同期分散グラフアルゴリズムの解析を橋渡しすること。
• 従来の分散システムにおける固有ベクトル計算およびコミュニティ検出に関する研究を単純化・一般化すること。

提案手法

• OjaのストリーミングPCAアルゴリズムを非同期ガスピングモデルに適応させ、上位-k 固有ベクトルの分散計算を可能にする。
• 各ノードは、ランダムに選択された隣接ノードからのメッセージを用いて、固有ベクトルの局所的推定値を維持・更新する。
• 非同期設定下での安定性と収束を保証するために、正規化された隣接行列表現を用いる。
• チェルノフ不等式およびマルティンゲール集中を用いて、確率的通信スケジュール下でのラベル伝搬および収束を分析する。
• 高信頼度のラベル更新に焦点を当てることで、誤差伝搬を低減するためのフィルタリング機構を導入する。
• 収束時間および誤差率の上限を求めるために、スペクトルギャップおよび固有値ギャップパラメータを活用する。

実験結果

リサーチクエスチョン

• RQ1 OjaのストリーミングPCAアルゴリズムは、ガスピングモデルのような完全に非同期的かつ確率的な通信モデルでも動作可能か？
• RQ2 このようなモデル下での分散固有ベクトル計算の収束時間および誤差上限は何か？
• RQ3 非同期通信下でのストークスティックブロックモデルにおけるコミュニティ検出タスクにおいて、このアルゴリズムの性能はいかがなものか？
• RQ4 ストリーミング固有ベクトル推定の解析を、非同期分散グラフアルゴリズムの解析に拡張可能か？
• RQ5 スペクトルギャップおよび混合時間は、提案アルゴリズムの収束速度にどのような影響を与えるか？

主な発見

• アルゴリズムは、誤差がε未満となるように、時間 Õ(Λk³/(gap·min(gap, γ_mix)·ε³)) で上位-k 固有ベクトルを計算する。ここでΛはk番目の最大固有値の和である。
• ストークスティックブロックモデルG(n,p,q)では、p = Ω(log n / n) および q = Ω(log n / n) のとき、コミュニティ検出が高確率で達成され、時間計算量は Õ(n log n) ラウンドである。
• この手法により、誤ってラベル付けされたノード数が時間とともに幾何級数的に減少し、十分なラウンド後には |S_{t+1}| ≤ (2/3)|S_t| w.h.p. が成立する。
• 解析により、非同期および確率的通信下でも、正しい固有ベクトルに収束することが示され、強力な有限時間保証が得られる。
• 本稿のアルゴリズムは、ストークスティックブロックモデルにおける分散コミュニティ検出の分野で、従来の研究に比べて収束時間および誤差上限の両面で向上している。
• Ojaのアルゴリズムと非同期ガスピングモデルとの間の関係により、分散固有ベクトル計算のための統一的解析フレームワークが可能になった。