[論文レビュー] Recovering a Hidden Community Beyond the Kesten-Stigum Threshold in $O(|E| \log^*|V|)$ Time

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 9, 2015

Age of Information Optimization参考文献 51被引用数 5

ひとこと要約

本稿では、ストークスティックブロックモデルにおいて、Kesten-Stigumの閾値を超えて隠れたコミュニティを回復する信念伝播（BP）アルゴリズムを提示する。信号対雑音比 $\lambda > 1/e$ のとき弱回復を達成し、実行時間は $O(|E|\log^*|V|)$ である。アルゴリズムは $\log^* n + O(1)$ 回の反復で実行され、情報論的に最適であり、$\lambda \leq 1/e$ のときいかなる局所的アルゴリズムもランダム推測を上回ることはできない。また、BPアルゴリズムは投票手順と組み合わせることで、$K \geq \frac{n}{\log n}(\rho_{\rm BP} + o(1))$ のとき情報限界での正確回復を達成できる。

ABSTRACT

Community detection is considered for a stochastic block model graph of n vertices, with K vertices in the planted community, edge probability p for pairs of vertices both in the community, and edge probability q for other pairs of vertices. The main focus of the paper is on weak recovery of the community based on the graph G, with o(K) misclassified vertices on average, in the sublinear regime $n^{1-o(1)} \leq K \leq o(n).$ A critical parameter is the effective signal-to-noise ratio $λ=K^2(p-q)^2/((n-K)q)$, with $λ=1$ corresponding to the Kesten-Stigum threshold. We show that a belief propagation algorithm achieves weak recovery if $λ>1/e$, beyond the Kesten-Stigum threshold by a factor of $1/e.$ The belief propagation algorithm only needs to run for $\log^\ast n+O(1) $ iterations, with the total time complexity $O(|E| \log^*n)$, where $\log^*n$ is the iterated logarithm of $n.$ Conversely, if $λ\leq 1/e$, no local algorithm can asymptotically outperform trivial random guessing. Furthermore, a linear message-passing algorithm that corresponds to applying power iteration to the non-backtracking matrix of the graph is shown to attain weak recovery if and only if $λ>1$. In addition, the belief propagation algorithm can be combined with a linear-time voting procedure to achieve the information limit of exact recovery (correctly classify all vertices with high probability) for all $K \ge \frac{n}{\log n} \left( ρ_{ m BP} +o(1) ight),$ where $ρ_{ m BP}$ is a function of $p/q$.

研究の動機と目的

• 隠れたコミュニティの弱回復および正確回復の根本的計算的・統計的限界を、$K = n^{1-o(1)}$ の部分線形領域で解明すること。
• Kesten-Stigumの閾値を超えて動作する効率的なアルゴリズムを設計することで、小さなコミュニティの検出における計算的障壁を克服すること。
• 正確回復のタイトな情報論的限界を確立し、信念伝播が投票手順と組み合わせることでこれらの限界に達することを示すこと。
• 局所的アルゴリズムが失敗する閾値を特定し、$\lambda \leq 1/e$ のときいかなる局所的アルゴリズムもランダム推測を上回れないことを示すこと。
• 信念伝播の収束性と複雑度を分析し、弱回復に $\log^* n + O(1)$ 回の反復で十分であることを証明すること。

提案手法

• ストークスティックブロックモデルに、サイズ $K$ の埋め込まれたコミュニティを用いて信念伝播アルゴリズムを適用し、グラフ上のメッセージパッシングにより頂点の所属を推定する。
• 各頂点が隣接ノードの寄与を差し引いて送出するメッセージを、近隣統計に基づく再帰的ルールで反復的に更新する。
• アルゴリズムは $\log^* n + O(1)$ 回の反復後に終了し、合計時間計算量は $O(|E|\log^*|V|)$ となる。ここで $|E|$ は辺の数を表す。
• BP出力を線形時間の投票手順と組み合わせることで、誤差を是正し、正しいコミュニティサイズ $K$ を強制することで正確回復を達成する。
• 木結合技術を用いてBPアルゴリズムを分析し、局所的近傍構造をガルトン＝ワトソン木として近似することで、誤差確率の分析を可能にする。
• 非バックトラッキング行列を用いて弱回復のスペクトル的条件を導出し、この行列に対するパワー反復が $\lambda > 1$ のときのみコミュニティを回復できることを示す。
• 主なパラメータとして、回復性能の閾値を決定する信号対雑音比 $\lambda = \frac{K^2(p-q)^2}{(n-K)q}$ が存在する。
• 集中不等式およびホーフィングの不等式を用いて、確率的サンプリングの仮定下でのコミュニティサイズおよび誤差確率の逸脱を制御する。

実験結果

リサーチクエスチョン

• RQ1 信念伝播は、$K = n^{1-o(1)}$ の部分線形領域において、Kesten-Stigumの閾値を超えて隠れたコミュニティの弱回復を達成できるか？
• RQ2 いかなる局所的アルゴリズムもランダム推測を上回るための最小の信号対雑音比 $\lambda$ は何か？
• RQ3 信念伝播が投票手順と組み合わせることで、情報論的限界での正確回復を達成できるか？
• RQ4 信念伝播の実行時間は反復対数関数 $\log^* n$ の観点から有界にできるか？
• RQ5 $\lambda = 1$ で非背向き行列に基づくスペクトル法に鋭い閾値が存在するか？

主な発見

• 信念伝播は $\lambda > 1/e$ のときかつそのときにのみ弱回復を達成し、Kesten-Stigumの閾値 $\lambda = 1$ を $1/e$ 倍の要因で超える。
• 信念伝播アルゴリズムは $O(|E|\log^*|V|)$ 時間で実行され、収束に $\log^* n + O(1)$ 回の反復で十分である。
• $\lambda \leq 1/e$ のときいかなる局所的アルゴリズムもコミュニティを弱回復できないため、根本的な計算的障壁が確立される。
• 非バックトラッキング行列に基づくパワー反復アルゴリズムは $\lambda > 1$ のときかつそのときにのみ弱回復を達成し、スペクトル法における鋭い閾値を示す。
• 信念伝播と線形時間の投票手順を組み合わせることで、すべての $K \geq \frac{n}{\log n}(\rho_{\rm BP} + o(1))$ に対して情報論的限界での正確回復が達成され、$\rho_{\rm BP}$ は $p/q$ に依存する。
• 木結合を用いて信念伝播の誤差バウンドを導出し、$\lambda > 1/e$ のとき期待される誤分類頂点数は $o(K)$ であり、高確率で成立する。