[論文レビュー] Optimal Cluster Recovery in the Labeled Stochastic Block Model

Se-Young Yun, Alexandre Proutière|arXiv (Cornell University)|Oct 20, 2015

Complex Network Analysis Techniques参考文献 22被引用数 14

ひとこと要約

本稿は、ラベル付き確率的ブロックモデル（LSBM）における最適クラスタ回復の根本的限界を確立し、クラスタリングアルゴリズムが最大で $ s = o(n) $ 個の誤分類アイテムを達成できるパrameterの正確な範囲を特定する。また、モデルパラメータの事前知識を必要とせず、$ O(n\text{polylog}(n)) $ の計算量で情報理論的限界に到達するスペクトル法を提案する。

ABSTRACT

We consider the problem of community detection or clustering in the labeled Stochastic Block Model (LSBM) with a finite number $K$ of clusters of sizes linearly growing with the global population of items $n$. Every pair of items is labeled independently at random, and label $\ell$ appears with probability $p(i,j,\ell)$ between two items in clusters indexed by $i$ and $j$, respectively. The objective is to reconstruct the clusters from the observation of these random labels. Clustering under the SBM and their extensions has attracted much attention recently. Most existing work aimed at characterizing the set of parameters such that it is possible to infer clusters either positively correlated with the true clusters, or with a vanishing proportion of misclassified items, or exactly matching the true clusters. We find the set of parameters such that there exists a clustering algorithm with at most $s$ misclassified items in average under the general LSBM and for any $s=o(n)$, which solves one open problem raised in \cite{abbe2015community}. We further develop an algorithm, based on simple spectral methods, that achieves this fundamental performance limit within $O(n \mbox{polylog}(n))$ computations and without the a-priori knowledge of the model parameters.

研究の動機と目的

• ラベル付き確率的ブロックモデル（LSBM）において、クラスタリングアルゴリズムが最大で $ s = o(n) $ 個の誤分類アイテムを達成できるパrameterの正確な条件を同定すること。
• 一般のLSBMパラメータ下でのクラスタ回復における最小達成可能な誤差を特徴づけることで、コミュニティ検出分野の未解決問題を解決すること。
• モデルパラメータの事前知識が不要な計算的に効率的なアルゴリズムを開発し、情報理論的限界に到達すること。
• 複数のラベルを有するより一般的なLSBMフレームワークに、SBMにおけるコミュニティ検出の既存結果を一般化すること。

提案手法

• Kullback-Leibler発散と最大後確信度（MAP）推定に基づく情報理論的解析を用いて、最適クラスタ回復の必要条件を導出する。
• ラベル確率の構造を活用して、効率的にクラスタを回復するスペクトルクラスタリング法を提案する。
• 摂動論法と集中不等式を用いて、クラスタ割り当てにおける誤差確率の上限を導出する。
• MAP推定器が情報理論的限界に違反する場合、真の分割を回復できないことを示すために、修正された分割戦略を用いる。
• クラスタ間のラベル分布間のKL発散の漸近的挙動を分析し、根本的限界を導出する。
• 提案されたスペクトル法が、モデルパrameterに依存せず、$ O(n\text{polylog}(n)) $ 時間内で最適誤差率に到達することを確立する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き確率的ブロックモデル（LSBM）のどのパrameter範囲において、最大で $ s = o(n) $ 個の誤分類アイテムを有するクラスタ回復が可能か？
• RQ2 複数のラベルと任意のクラスタサイズ比を有する一般LSBMにおけるクラスタ回復の根本的情報理論的限界は何か？
• RQ3 モデルパラメータの事前知識が不要なスペクトルクラスタリング法が、この最適性能に到達できるか？
• RQ4 クラスタ間のラベル分布間のKL発散は、正確またはほぼ正確な回復の可能性をどのように決定するか？
• RQ5 LSBMにおける最小誤分類アイテム数は何か？また、異なるパrameter範囲下で $ n $ に対してどのようにスケーリングするか？

主な発見

• 本稿は、最適クラスタ回復の必要十分条件を確立する：$ nD(\alpha,p)/\log n < 1 - \eta $（$ \eta > 0 $）のとき、いかなるアルゴリズムでも $ o(n) $ 個の誤分類アイテムを達成できない。
• $ nD(\alpha,p)/\log n < 1 - \eta $ のとき、任意のクラスタリングアルゴリズムの誤差確率は $ 1 - n^{-\eta/4} $ 以上であるため、高確率で真の分割を回復できない。
• $ O(n\text{polylog}(n)) $ の計算複雑性で最適誤差率に到達するスペクトルクラスタリング法を提案する。
• このアルゴリズムは、モデルパラメータ $ \alpha $ および $ p(i,j,\ell) $ の事前知識を必要とせず、実世界の応用において実用的である。
• 鍵となる洞察は、クラスタ間のラベル分布間のKL発散がクラスタ回復の根本的限界を支配し、比 $ nD(\alpha,p)/\log n $ によって定まる閾値がその基盤をなすことである。
• 解析により、標準的なSBMがLSBMの特殊ケースであることが確認され、正確な回復や誤差率の消滅に関する既存のすべての結果が、特殊ケースとして回復されることを示している。