[論文レビュー] Recovering a Hidden Community Beyond the Spectral Limit in O(|E|log * |V|) Time.

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 9, 2015

Distributed Sensor Networks and Detection Algorithms参考文献 25被引用数 13

ひとこと要約

本稿では、信号対雑音比 λ > 1/e のとき、スパースなストーハスティックブロックモデルにおいて、隠れたコミュニティの弱い復元を O(|E| log* n) 時間で達成する信念伝播アルゴリズムを提示している。K = o(n) の部分線形領域でも同様に成立し、λ = 1/e において鋭い閾値を示しており、この値未満では、対数的でない相互作用半径を有するいかなる局所的アルゴリズムでもランダム推測を上回ることはできない。また、λ ≤ 1 のとき、スペクトル的手法が失敗することを示唆している。

ABSTRACT

The stochastic block model for one community with parameters $n, K, p,$ and $q$ is considered: $K$ out of $n$ vertices are in the community; two vertices are connected by an edge with probability $p$ if they are both in the community and with probability $q$ otherwise, where $p > q > 0$ and $p/q$ is assumed to be bounded. An estimator based on observation of the graph $G=(V,E)$ is said to achieve weak recovery if the mean number of misclassified vertices is $o(K)$ as $n o \infty$. A critical role is played by the effective signal-to-noise ratio $\lambda=K^2(p-q)^2/((n-K)q).$ In the regime $K=\Theta(n)$, a na\{i}ve degree-thresholding algorithm achieves weak recovery in $O(|E|)$ time if $\lambda o \infty$, which coincides with the information theoretic possibility of weak recovery. The main focus of the paper is on weak recovery in the sublinear regime $K=o(n)$ and $np = n^{o(1)}.$ It is shown that weak recovery is provided by a belief propagation algorithm running for $\log^\ast(n)+O(1) $ iterations, if $\lambda > 1/e,$ with the total time complexity $O(|E| \log^*n)$. Conversely, no local algorithm with radius $t$ of interaction satisfying $t = o(\frac{\log n}{\log(2+np)})$ can asymptotically outperform trivial random guessing if $\lambda \leq 1/e.$ By analyzing a linear message-passing algorithm that corresponds to applying power iteration to the non-backtracking matrix of the graph, we provide evidence to suggest that spectral methods fail to provide weak recovery if $\lambda \leq 1.$

研究の動機と目的

• コミュニティサイズ K が n に対して部分線形であるスパースなストーハスティックブロックモデルにおける、隠れたコミュニティの弱い復元を扱う。
• スパースな接続性下での、局所的アルゴリズムが隠れたコミュニティを回復する際の根本的限界を特定する。
• 部分線形領域 K = o(n) における信念伝播の時間計算量および収束性を分析する。
• 局所的アルゴリズムによる弱い復元が可能となる閾値 λ = 1/e を確立し、それ未満では不可能であることを示す。

提案手法

• 本稿では、グラフ構造に基づくコミュニティ所属の推定に、log* n 回の反復を伴う信念伝播アルゴリズムを採用している。
• 非バックトラッキング行列に基づくメッセージパッシングダイナミクスを用いて、信念伝播の収束性と性能を分析している。
• スペクトル的手法の限界を評価するため、非バックトラッキング行列へのパワー反復に相当する線形メッセージパッシングモデルに依拠している。
• アルゴリズムの時間計算量は O(|E| log* n) で抑えられており、大規模なスパースグラフに対しても効率的である。
• 信号対雑音比に基づき、λ = K²(p−q)²/((n−K)q) を用いて、臨界閾値 λ = 1/e を導出している。
• λ ≤ 1/e のとき、半径 o(log n / log(2+np)) のいかなる局所的アルゴリズムでも、ランダム推測を漸近的に上回ることはできないと証明しており、根本的限界を確立している。

実験結果

リサーチクエスチョン

• RQ1 信念伝播は、K = o(n) の部分線形領域において、部分線形時間計算量で隠れたコミュニティの弱い復元を達成できるか？
• RQ2 信号対雑音比 λ に照らして、局所的アルゴリズムが隠れたコミュニティを回復する際の根本的限界は何か？
• RQ3 λ ≤ 1 のとき、非バックトラッキング行列によるスペクトル解析は弱い復元を達成できないか？
• RQ4 λ = 1/e が局所的アルゴリズムにとって鋭い閾値であるとは、部分対数的半径を持ついかなるアルゴリズムでも、この値未満ではランダム推測を上回れないという意味で正しいか？
• RQ5 信念伝播の時間計算量はグラフサイズにどのようにスケーリングするか？また、情報理論的最適な復元を達成できるか？

主な発見

• 信念伝播アルゴリズムは、λ > 1/e のとき O(|E| log* n) 時間で弱い復元を達成し、K = Θ(n) の領域における情報理論的限界と一致する。
• λ ≤ 1/e のとき、半径 o(log n / log(2+np)) のいかなる局所的アルゴリズムでも、ランダム推測を漸近的に上回ることはできない。これにより、鋭い閾値が確立された。
• 本稿では、スペクトル的手法が λ ≤ 1 のとき弱い復元を達成できないという証拠を提示しており、スペクトル的手法の根本的限界を示している。
• 提案されたアルゴリズムの時間計算量はエッジ数に対してほぼ線形であり、大規模なスパースグラフにおいてもスケーラブルである。
• 閾値 λ = 1/e が鋭いことが示された：局所的アルゴリズムでは、この値を超えると復元が可能で、未満では不可能である。
• パワー反復による非バックトラッキング行列の分析から、λ ≤ 1 のときスペクトル手法は弱い復元に成功しないことが明らかになった。