[論文レビュー] Distributed k-Core Decomposition

Alberto Montresor, Francesco De Pellegrini+1 more|arXiv (Cornell University)|Mar 28, 2011

Complex Network Analysis Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、大規模なネットワークにおけるkコア分解のための新規分散アルゴリズムを提示しており、分散システム全体にわたる効率的でスケーラブルな計算を可能にしている。この手法は、メッセージ伝達を伴う反復的局所更新を用い、理論的上限とは対照的に、実世界のグラフではわずか数ラウンドで収束することを達成している。

ABSTRACT

Among the novel metrics used to study the relative importance of nodes in complex networks, k-core decomposition has found a number of applications in areas as diverse as sociology, proteinomics, graph visualization, and distributed system analysis and design. This paper proposes new distributed algorithms for the computation of the k-core decomposition of a network, with the purpose of (i) enabling the run-time computation of k-cores in "live" distributed systems and (ii) allowing the decomposition, over a set of connected machines, of very large graphs, that cannot be hosted in a single machine. Lower bounds on the algorithms complexity are given, and an exhaustive experimental analysis on real-world graphs is provided.

研究の動機と目的

• 中央集権的計算が不可能な大規模またはライブな分散ネットワークにおけるスケーラブルなkコア分解のニーズに対応すること。
• P2Pオーバーレイのような動的システムにおける実行時kコア分析を可能にし、コアネスがメッセージ拡散プロトコルを指導致すこと。
• 単一のマシンのメモリに収まらないほど大きなグラフにおけるkコア分解の分散計算を支援すること。
• 1対1（ピアツーピア）および1対多（クラスタベース）のデプロイメントシナリオの両方を効率的に処理するプロトコルを設計すること。
• 現実的なネットワークトポロジーにおける正しいコアネス値への高速な収束を保証しながら、通信オーバーヘッドを最小限に抑えること。

提案手法

• 各ホストが責任を負うノードのコアネス推定値を保持・更新する分散アルゴリズムを提案。局所的な次数情報に基づく。
• メッセージ伝達の反復ラウンドを用いる：各ノードは自身の現在のコアネス推定値を隣接ノードにブロードキャストし、自身の次数の最小値と隣接ノードの推定値の最大値に基づいて値を更新する。
• 重要な最適化を適用：コアネス推定値が変化した場合にのみ更新を送信することで、通信オーバーヘッドを削減する。
• ポイントツーポイントおよびブロードキャスト通信モデルの両方をサポート。ブロードキャストはノードごとのメッセージオーバーヘッドを顕著に低減する。
• 1対1プロトコルを1対多のシナリオに適応させるために、1つのホストが複数のノードをグループ化し、正しさと収束性を保持する。
• 全ノードのコアネス推定値の収束に基づく終了条件を採用。理論的上限は、最悪ケースのグラフ構造から導出される。

実験結果

リサーチクエスチョン

• RQ1 グラフが単一マシンのメモリに収まらない分散システムにおいて、kコア分解をどのように効率的に計算できるか？
• RQ2 実世界のグラフにおける分散kコアアルゴリズムの収束行動はどのようなものか？理論的最悪ケースの上限と比べてどうか？
• RQ3 1対1（ピアツーピア）および1対多（クラスタベース）のデプロイメントモデルの両方に対応できるか？性能劣化は最小限か？
• RQ4 通信オーバーヘッドはどの程度か？ネットワークトポロジーおよび通信プリミティブ（例：ブロードキャスト対ポイントツーポイント）に応じてどのように変化するか？
• RQ5 エピデミックプロトコルにおけるメッセージ拡散のヒューリスティクスとしてコアネスが使われる以上、許容誤差内で早期に停止できる範囲はどの程度か？

主な発見

• 理論的にはO(N)ラウンドで収束し、上限はN - K + 1ラウンド（Kは最小次数を持つノード数）である。
• 理論的上限は高いが、実世界のグラフ（Slashdot、Arxiv引用、Gnutellaネットワークなど）では22ラウンド以内に収束することが確認された。
• 全ノードにおける最大誤差は22ラウンド目までに1以下に低下し、平均誤差は速やかにゼロに達する。これは、完全収束の前でも高い正確性を示している。
• ブロードキャスト通信媒体を用いる場合、ノード1つあたりの更新メッセージ平均数は3未満に保たれ、通信オーバーヘッドが低いことを示している。
• ポイントツーポイント通信では、ホスト数の増加に伴いオーバーヘッドが増加するが、1対1プロトコルの水準に安定するため、スケーラビリティが保証されている。
• モジュール型でワーカーベースの計算モデルを採用しており、障害耐性の可能性も持つことから、HadoopやPregelに類似したフレームワークへのデプロイに適している。