[论文解读] Computational Lower Bounds for Community Detection on Random Graphs

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Jun 25, 2014

Complex Network Analysis Techniques参考文献 32被引用 28

一句话总结

本文在假设植 clique 问题计算困难的前提下，建立了在大型 Erdős-Rényi 随机图中检测一个小型密集连接社区的计算下界。在稀疏度参数 q = N^{-α} 的设定下，当 α = 2/3 时出现相变现象：低于该阈值时，任何高效算法都无法检测到比计算密集型方法所能达到的更小的子图；而高于该阈值时，线性时间算法在统计上达到最优。

ABSTRACT

This paper studies the problem of detecting the presence of a small dense community planted in a large Erdős-Rényi random graph $\mathcal{G}(N,q)$, where the edge probability within the community exceeds $q$ by a constant factor. Assuming the hardness of the planted clique detection problem, we show that the computational complexity of detecting the community exhibits the following phase transition phenomenon: As the graph size $N$ grows and the graph becomes sparser according to $q=N^{-α}$, there exists a critical value of $α= \frac{2}{3}$, below which there exists a computationally intensive procedure that can detect far smaller communities than any computationally efficient procedure, and above which a linear-time procedure is statistically optimal. The results also lead to the average-case hardness results for recovering the dense community and approximating the densest $K$-subgraph.

研究动机与目标

• 理解在大型随机图中检测一个小型密集连接社区的计算极限。
• 确定在参数 (N, K, p, q) 上的精确阈值，使得高效检测变得不可能。
• 证明在某一稀疏度范围内，统计检测极限无法被多项式时间算法实现。
• 将植密集子图检测问题的困难性与广泛认为难以解决的植 clique 问题联系起来。

提出的方法

• 作者使用标准的复杂性理论技术，将植密集子图检测（PDS）问题约化为植 clique（PC）检测问题。
• 他们假设 PC 假设 —— 即在边概率为 1/2 的 Erdős-Rényi 图中，不存在多项式时间算法能检测出大小为 o(√n) 的植 clique。
• 分析聚焦于 p = cq（c > 1 为常数）且 q = N^{-α}（α ∈ (0,1)）的参数区间。
• 通过 Cauchy-Schwarz 不等式和解耦不等式推导出关键不等式与矩界，以控制子图统计量的尾部概率。
• 证明过程涉及对度数统计量进行截断，并通过控制指数矩来建立在零假设与备择假设下的集中性。
• 通过在假设计算困难性下平衡子图统计量中的信号强度与噪声，推导出临界阈值 α = 2/3。

实验结果

研究问题

• RQ1 在稀疏 Erdős-Rényi 随机图中，检测植密集子图的计算阈值是什么？
• RQ2 在统计检测阈值以下，高效算法能否检测社区？若不能，原因是什么？
• RQ3 植 clique 问题的困难性如何与社区检测的计算极限相关联？
• RQ4 随着图的稀疏度增加，检测问题的相变行为如何表现？

主要发现

• 在稀疏度参数 q = N^{-α} 的设定下，α = 2/3 处出现相变，将计算上困难与容易的区域分隔开。
• 当 α < 2/3 时，对于任意 ε > 0，任何多项式时间算法都无法检测到大小为 K = N^{1/2 - ε} 的社区，尽管这些社区在统计上是可检测的。
• 当 α > 2/3 时，一种线性时间方法可达到统计检测极限，因此在计算上是最优的。
• 结果意味着在植 clique 假设下，恢复密集社区和近似最密 K-子图均具有平均情况下的计算困难性。
• 下界通过从植 clique 问题的约化推导得出，假设其对大小为 o(√n) 的 clique 无法求解。