[论文解读] Finding Hidden Cliques of Size \sqrt{N/e} in Nearly Linear Time

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|Apr 26, 2013

Complexity and Algorithms in Graphs参考文献 27被引用 26

一句话总结

该论文提出了一种近乎线性时间的算法，可在边概率为 $1/2$ 的 Erdős–Rényi 随机图中检测大小为 $(1+\varepsilon)\sqrt{N/e}$ 的隐藏团，优于在 $\sqrt{N}$ 以下失效的谱方法。该方法利用局部树状结构上的信念传播，并推广至大圈长的正则图，建立了基于团大小与图度数关系的检测性精确阈值。

ABSTRACT

Consider an Erdös-Renyi random graph in which each edge is present independently with probability 1/2, except for a subset $\sC_N$ of the vertices that form a clique (a completely connected subgraph). We consider the problem of identifying the clique, given a realization of such a random graph. The best known algorithm provably finds the clique in linear time with high probability, provided $|\sC_N|\ge 1.261\sqrt{N}$ \cite{dekel2011finding}. Spectral methods can be shown to fail on cliques smaller than $\sqrt{N}$. In this paper we describe a nearly linear time algorithm that succeeds with high probability for $|\sC_N|\ge (1+\eps)\sqrt{N/e}$ for any $\eps>0$. This is the first algorithm that provably improves over spectral methods. We further generalize the hidden clique problem to other background graphs (the standard case corresponding to the complete graph on $N$ vertices). For large girth regular graphs of degree $(Δ+1)$ we prove that `local' algorithms succeed if $|\sC_N|\ge (1+\eps)N/\sqrt{eΔ}$ and fail if $|\sC_N|\le(1-\eps)N/\sqrt{eΔ}$.

研究动机与目标

• 开发一种在团大小低于谱阈值 $\sqrt{N}$ 时，可证明高效的隐藏团检测算法。
• 将隐藏团问题从完全图推广至一般背景图，特别是大圈长的正则图。
• 利用局部算法（如信念传播）建立隐藏集合可检测性的精确阈值。
• 证明信念传播在局部树状图上达到最优性能，并提供检测所需团大小的紧致界。

提出的方法

• 作者在图中顶点的 $t$-邻域上使用信念传播（BP），假设当 $N$ 较大时邻域结构为局部树状。
• 将隐藏团检测建模为树状图模型上的统计推断问题，其中节点标签 $X_i$ 表示属于隐藏集合的成员身份。
• 算法通过 BP 计算后验边际概率 $\mathbb{P}(X_i=1 \mid W_{\text{Ball}(i;t)})$，并利用其估计隐藏团。
• 分析依赖于信念传播消息传递动态在树状图上收敛至真实后验，误差界通过递归矩分析导出。
• 该方法推广至大圈长的 $\Delta$-正则图，其中检测阈值按 $N/\sqrt{e\Delta}$ 缩放。
• 关键技术组件是使用归一化指示向量 $e_{{\sf C}_N} = u_{{\sf C}_N}/N^{1/4}$ 分析谱性质，并将其与 BP 性能关联。

实验结果

研究问题

• RQ1 是否存在多项式时间算法可检测小于 $\sqrt{N}$ 的隐藏团，而谱方法在此情况下失效？
• RQ2 局部算法（如信念传播）以高概率成功所需的最小团大小 $|{\sf C}_N|$ 是多少？
• RQ3 背景图的结构——特别是其圈长和度数——如何影响隐藏团的可检测性阈值？
• RQ4 信念传播在局部树状图上是否为隐藏集合检测的最优方法，能否达到信息论极限？

主要发现

• 所提出的算法以高概率在近乎线性时间内检测到大小为 $(1+\varepsilon)\sqrt{N/e}$ 的隐藏团，优于先前算法的 $1.261\sqrt{N}$ 阈值。
• 对于大圈长大 $\Delta$-正则图，当 $|{\sf C}_N| \geq (1+\varepsilon)N/\sqrt{e\Delta}$ 时算法成功，当 $|{\sf C}_N| \leq (1-\varepsilon)N/\sqrt{e\Delta}$ 时失败，确立了精确阈值。
• 信念传播在局部树状图上达到最优检测阈值，且任何局部算法均无法在该阈值以下成功。
• 分析表明，谱方法在团大小 $\leq (1-\varepsilon)\sqrt{N}$ 时无法成功，证实了其信息论局限性。
• 结果对模型变化具有鲁棒性：在大 $N$ 极限下，${\sf C}_N$ 的 i.i.d. 模型与均匀集合模型产生相同的检测阈值。