[论文解读] Recovering a Hidden Community Beyond the Spectral Limit in O(|E|log * |V|) Time.

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 9, 2015

Distributed Sensor Networks and Detection Algorithms参考文献 25被引用 13

一句话总结

该论文提出了一种信念传播算法，在信号与噪声比 λ > 1/e 时，能够在 O(|E| log* n) 时间内实现稀疏 stochastic block model 中隐藏社区的弱恢复，即使在子线性规模 K = o(n) 的情况下也成立。该研究在 λ = 1/e 处建立了紧致阈值，表明当 λ ≤ 1/e 时，任何交互半径为次对数的局部算法都无法优于随机猜测，同时提供了证据表明当 λ ≤ 1 时谱方法会失效。

ABSTRACT

The stochastic block model for one community with parameters $n, K, p,$ and $q$ is considered: $K$ out of $n$ vertices are in the community; two vertices are connected by an edge with probability $p$ if they are both in the community and with probability $q$ otherwise, where $p > q > 0$ and $p/q$ is assumed to be bounded. An estimator based on observation of the graph $G=(V,E)$ is said to achieve weak recovery if the mean number of misclassified vertices is $o(K)$ as $n o \infty$. A critical role is played by the effective signal-to-noise ratio $\lambda=K^2(p-q)^2/((n-K)q).$ In the regime $K=\Theta(n)$, a na\{i}ve degree-thresholding algorithm achieves weak recovery in $O(|E|)$ time if $\lambda o \infty$, which coincides with the information theoretic possibility of weak recovery. The main focus of the paper is on weak recovery in the sublinear regime $K=o(n)$ and $np = n^{o(1)}.$ It is shown that weak recovery is provided by a belief propagation algorithm running for $\log^\ast(n)+O(1) $ iterations, if $\lambda > 1/e,$ with the total time complexity $O(|E| \log^*n)$. Conversely, no local algorithm with radius $t$ of interaction satisfying $t = o(\frac{\log n}{\log(2+np)})$ can asymptotically outperform trivial random guessing if $\lambda \leq 1/e.$ By analyzing a linear message-passing algorithm that corresponds to applying power iteration to the non-backtracking matrix of the graph, we provide evidence to suggest that spectral methods fail to provide weak recovery if $\lambda \leq 1.$

研究动机与目标

• 解决在社区规模 K 相对于 n 为子线性规模时，稀疏 stochastic block model 中隐藏社区的弱恢复问题。
• 确定在稀疏连接条件下，局部算法在恢复隐藏社区方面的根本极限。
• 分析信念传播在子线性规模 K = o(n) 下的时间复杂度与收敛性。
• 在局部算法可实现弱恢复的阈值为 λ = 1/e，低于该值则不可能实现的背景下，建立该阈值。

提出的方法

• 论文采用迭代次数为 log* n 的信念传播算法，基于图结构估计社区成员身份。
• 通过图的非回溯矩阵上的消息传递动力学，分析信念传播的收敛性与性能。
• 分析依赖于等价于非回溯矩阵上幂迭代的线性消息传递模型，以评估谱方法的局限性。
• 该算法的时间复杂度被限制在 O(|E| log* n) 以内，使其在大规模稀疏图上具有高效性。
• 基于信噪比 λ = K²(p−q)²/((n−K)q) 推导出临界阈值 λ = 1/e。
• 证明当 λ ≤ 1/e 时，任何交互半径为 o(log n / log(2+np)) 的局部算法都无法在渐近意义上优于随机猜测，从而确立了根本性极限。

实验结果

研究问题

• RQ1 信念传播算法是否能在子线性规模 K = o(n) 下，以次线性时间复杂度实现隐藏社区的弱恢复？
• RQ2 在信噪比 λ 的维度下，局部算法恢复隐藏社区的根本极限是什么？
• RQ3 当 λ ≤ 1 时，通过非回溯矩阵进行谱分析是否无法实现弱恢复？
• RQ4 阈值 λ = 1/e 对于局部算法是否为紧致的？即在该值以下，任何具有次对数半径的算法都无法优于随机猜测？
• RQ5 信念传播的时间复杂度如何随图规模变化？其能否实现信息论最优的恢复？

主要发现

• 当 λ > 1/e 时，信念传播算法在 O(|E| log* n) 时间内实现弱恢复，与 K = Θ(n) 时的信息论极限一致。
• 当 λ ≤ 1/e 时，任何交互半径为 o(log n / log(2+np)) 的局部算法都无法在渐近意义上优于随机猜测，确立了紧致阈值。
• 论文提供了证据表明当 λ ≤ 1 时，谱方法无法实现弱恢复，揭示了谱技术的根本局限性。
• 所提算法的时间复杂度在边数上近乎线性，使其在大规模稀疏图上具备可扩展性。
• λ = 1/e 被证明是尖锐的：对于局部算法，该值以上可实现恢复，以下则不可能。
• 通过对非回溯矩阵进行幂迭代分析，揭示了当 λ ≤ 1 时谱方法在弱恢复中不成功。