[論文レビュー] Streaming, Memory Limited Algorithms for Community Detection

Se-Young Yun, Lelarge, Marc+1 more|arXiv (Cornell University)|Nov 3, 2014

Complex Network Analysis Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、ストークスティックブロックモデルを用いて、大規模なスパースネットワークにおけるコミュニティ検出のためのストリーミングでメモリ制限のあるアルゴリズムを提案する。線形メモリを要するオフラインアルゴリズムと、サブラインアーメモリを要するオンラインアルゴリズムを導入し、隣接行列の列を逐次処理することで、部分情報回復のための新規スペクトルアルゴリズムを活用し、漸近的に正確なクラスタリングを達成する。

ABSTRACT

In this paper, we consider sparse networks consisting of a finite number of non-overlapping communities, i.e. disjoint clusters, so that there is higher density within clusters than across clusters. Both the intra- and inter-cluster edge densities vanish when the size of the graph grows large, making the cluster reconstruction problem nosier and hence difficult to solve. We are interested in scenarios where the network size is very large, so that the adjacency matrix of the graph is hard to manipulate and store. The data stream model in which columns of the adjacency matrix are revealed sequentially constitutes a natural framework in this setting. For this model, we develop two novel clustering algorithms that extract the clusters asymptotically accurately. The first algorithm is {\it offline}, as it needs to store and keep the assignments of nodes to clusters, and requires a memory that scales linearly with the network size. The second algorithm is {\it online}, as it may classify a node when the corresponding column is revealed and then discard this information. This algorithm requires a memory growing sub-linearly with the network size. To construct these efficient streaming memory-limited clustering algorithms, we first address the problem of clustering with partial information, where only a small proportion of the columns of the adjacency matrix is observed and develop, for this setting, a new spectral algorithm which is of independent interest.

研究の動機と目的

• 完全な隣接行列を格納することが不可能な大規模ネットワークにおけるコミュニティ検出の課題に対処すること。
• 厳密なメモリ制約の下で動作する効率的なストリーミングアルゴリズムを開発し、グラフの列を逐次処理すること。
• 分類後にデータを破棄するオンラインアルゴリズムを設計し、ネットワークサイズに対してサブラインアーメモリを要すること。
• 部分的またはストリーミングデータでの正確なクラスタリングが可能となる理論的条件を確立すること。
• 部分的情報におけるクラスタリングのための新規スペクトルアルゴリズムを提供し、主たる応用を超えて独立した価値を有すること。

提案手法

• 観測されたノードを分類するために、全列のうち割合γの部分的な隣接行列の列を使用するスペクトルクラスタリングアルゴリズムを提案する。
• 列をブロック単位で処理する戦略を導入し、各ブロックをスペクトルクラスタリングで解析する。
• 新規ブロックからのクラスタ割り当てと以前に特定されたクラスタを、クラスタ間接続数を用いて統合するマージ手順を採用する。
• スペクトル分解中のメモリ使用量を削減するために、低ランクSVD近似にパワー法を用いる。
• ストレージ要件を削減しながらクラスタリング精度を維持するために、列のランダムサブサンプリングを適用する。
• 分類後にデータを破棄するオンラインバージョンを設計し、現在のクラスタ分割と過去の結果をマージするのみを保持する。

実験結果

リサーチクエスチョン

• RQ1 部分的な隣接行列が観測されるストリーミングでメモリ制限のある設定でも、正確なコミュニティ検出が達成可能か？
• RQ2 そのようなストリーミング設定において、漸近的に正確なクラスタリングを達成するための最小メモリ要件は何か？
• RQ3 特定の列のサブセットに制限された部分的情報は、コミュニティ検出の可能性と正確性にどのように影響するか？
• RQ4 サブラインメモリを要するオンラインアルゴリズムは、コミュニティ検出において漸近的に正確な結果を得られるか？
• RQ5 グラフの密度とサンプリングレートにどのような条件が課されれば、部分的データでもスペクトルクラスタリングが有効に機能するか？

主な発見

• オフラインアルゴリズムは、h(n) = ω(log(n)/min{f(n), n^{1/3}}) かつ T = ω(n/min{f(n), n^{1/3}}) を満たす限り、ネットワークサイズnに線形にスケーリングするメモリで漸近的に正確なクラスタリングを達成する。
• オンラインアルゴリズムは、メモリスケーリングがΘ(nh(n))であるが、h(n)がn^{1−ε}よりゆっくり成長するε > 0の下ではサブラインアーメモリとなる。
• f(n) = ω(log(n)) であるグラフでは、h(n) = 1 を選ぶことで線形メモリで正確なクラスタリングが達成され、誤分類率はexp(−cT min{f(n), n^{1/3}}/n) よりも速く減少する。
• 部分的情報に対する提案されたスペクトルアルゴリズムは、√γf(n) = ω(1) のとき、正確なクラスタリングに必要な十分条件である。このアルゴリズムは、観測済みノードと未観測ノードの間のエッジに依存する。
• これらのアルゴリズムはデータを一度しか走査しないため、すべての列が収集される前でもクラスタを再構築できる。
• オンラインアルゴリズムは、コミュニティ検出におけるサブラインメモリストリーミングアルゴリズムとして、文献において初めて知られているものであり、類似の理論的保証は過去に存在しなかった。