[論文レビュー] Community Detection via Random and Adaptive Sampling

Se-Young Yun, Alexandre Proutière|arXiv (Cornell University)|Feb 13, 2014

Complex Network Analysis Techniques参考文献 16被引用数 29

ひとこと要約

本稿では、ネットワークにおけるコミュニティ検出のための連合的適応的サンプリングとクラスタリングフレームワークを提案する。ノードペア間の相互作用が適応的にサンプリングされ、コミュニティ回復精度を最大化する。基本的な性能限界を確立し、非適応的戦略と比較して適応的サンプリングが観測予算を顕著に削減できることを示し、ネットワークサイズと相互作用確率に適切にスケーリングされる予算の下で、漸近的に正確な検出を達成する。

ABSTRACT

In this paper, we consider networks consisting of a finite number of non-overlapping communities. To extract these communities, the interaction between pairs of nodes may be sampled from a large available data set, which allows a given node pair to be sampled several times. When a node pair is sampled, the observed outcome is a binary random variable, equal to 1 if nodes interact and to 0 otherwise. The outcome is more likely to be positive if nodes belong to the same communities. For a given budget of node pair samples or observations, we wish to jointly design a sampling strategy (the sequence of sampled node pairs) and a clustering algorithm that recover the hidden communities with the highest possible accuracy. We consider both non-adaptive and adaptive sampling strategies, and for both classes of strategies, we derive fundamental performance limits satisfied by any sampling and clustering algorithm. In particular, we provide necessary conditions for the existence of algorithms recovering the communities accurately as the network size grows large. We also devise simple algorithms that accurately reconstruct the communities when this is at all possible, hence proving that the proposed necessary conditions for accurate community detection are also sufficient. The classical problem of community detection in the stochastic block model can be seen as a particular instance of the problems consider here. But our framework covers more general scenarios where the sequence of sampled node pairs can be designed in an adaptive manner. The paper provides new results for the stochastic block model, and extends the analysis to the case of adaptive sampling.

研究の動機と目的

• 固定された観測予算の下で、サンプリング戦略とクラスタリングアルゴリズムを連合的に最適化し、正確なコミュニティ検出を達成すること。
• 隠れたコミュニティを回復するうえでの、非適応的ランダムおよび適応的サンプリング戦略の基本的性能限界を分析すること。
• 非適応的サンプリングと比較して、適応的サンプリングが観測予算の必要量に与える向上を定量すること。
• 導出された性能限界に到達するシンプルで低複雑度のアルゴリズムを開発すること。

提案手法

• ノードペアの相互作用が大規模データセットからサンプリングされ、結果は相互作用（1）または非相互作用（0）を示すフレームワークを提案する。
• 同じコミュニティに属するペアの相互作用確率をp、異なるコミュニティのペアをq < pとモデル化し、密なおよび疎なネットワークの両方の状態を許容する。
• 測度変更の議論を用いて、誤分類誤差の基本的下界を導出する。これはバンドイットレジーット解析に類似している。
• 非適応的サンプリングのためのスペクトル分割（SP）アルゴリズムを導入し、観測行列を構築し、スペクトルクラスタリングを実行する。
• 過去の結果に基づいて情報量の増加を最大化するようにノードペアを選択する適応的サンプリング戦略を開発する。
• 集中不等式および指数的尾部バウンド（例：マルコフ、チェビシェフ、およびチェルノフ型バウンド）を用いて、クラスタリング誤差確率を分析する。

実験結果

リサーチクエスチョン

• RQ1 非適応的ランダムサンプリング戦略下でのコミュニティ検出の正確性の基本的限界は何か？
• RQ2 非適応的戦略と比較して、適応的サンプリングは性能限界をどのように向上させるか？
• RQ3 T（観測予算）、n（ネットワークサイズ）、およびp, q（相互作用確率）にどのような条件が課されると、漸近的に正確なコミュニティ検出が達成されるか？
• RQ4 シンプルで低複雑度のアルゴリズムは、非適応的および適応的両設定で導出された基本的限界に到達できるか？
• RQ5 非適応的サンプリングと比較して、適応的サンプリングを用いることで、観測予算をどの程度削減できるか？

主な発見

• 非適応的サンプリングでは、漸近的に正確なコミュニティ検出が可能となるのは、T/n → ∞ かつ (T/n) · min{KL(q,p), KL(p,q)} → ∞ のときのみである。
• 適応的サンプリングでは、漸近的に正確な検出には min{1−q, p} · (T/n) = Ω(1) かつ (T/n) · max{KL(q,p), KL(p,q)} → ∞ が必要である。
• 提案されたスペクトル分割（SP）アルゴリズムは、非適応的サンプリングにおける基本的下界に到達し、下界がタイトであることを証明する。
• 適応的サンプリングは、観測予算の必要量を顕著に削減でき、特に q ≪ p の場合に顕著な恩恵をもたらす。
• 本稿では、正確な検出に必要な条件が、実際に構築された一致するアルゴリズムによっても十分であることが示され、導出された必要条件が十分条件でもあることが確立された。
• 解析は、p,q = Θ(1) の密な状態および p,q = o(1) の疎な状態の両方をカバーし、古典的なストークスティックブロックモデルを越えて一般化された。