[论文解读] Detecting communities is hard, and counting them is even harder

Aviad Rubinstein|arXiv (Cornell University)|Nov 25, 2016

Complexity and Algorithms in Graphs参考文献 23被引用 4

一句话总结

本文证明了在图中检测和计数 $(\alpha,\beta)$-社区在计算上是困难的，在指数时间假设（ETH）和#ETH下需要准多项式时间。它建立了强烈的不可近似性结果：即使对于常数 $\alpha > \beta$，区分一个具有近乎完美社区的图与一个不具有弱连通社区的图也是困难的，且计数此类社区同样需要准多项式时间。

ABSTRACT

We consider the algorithmic problem of community detection in networks. Given an undirected friendship graph $G=\left(V,E ight)$, a subset $S\subseteq V$ is an $\left(α,β ight)$-community if: * Every member of the community is friends with an $α$-fraction of the community; * Every non-member is friends with at most a $β$-fraction of the community. Arora et al [AGSS12] gave a quasi-polynomial time algorithm for enumerating all the $\left(α,β ight)$-communities for any constants $α>β$. Here, we prove that, assuming the Exponential Time Hypothesis (ETH), quasi-polynomial time is in fact necessary - and even for a much weaker approximation desideratum. Namely, distinguishing between: * $G$ contains an $\left(1,o\left(1 ight) ight)$-community; and * $G$ does not contain an $\left(β+o\left(1 ight),β ight)$-community for any $β\in\left[0,1 ight]$. We also prove that counting the number of $\left(1,o\left(1 ight) ight)$-communities requires quasi-polynomial time assuming the weaker #ETH.

研究动机与目标

• 在指数时间假设（ETH）下，建立图中检测$(\alpha,\beta)$-社区的计算下界。
• 证明即使区分具有近乎完美社区的图与不具有弱连通社区的图，也需准多项式时间。
• 在较弱的#ETH假设下，证明计数$(1,o(1))$-社区也是困难的。
• 将相关问题（如Densest $k$-Subgraph、Nash均衡）中已有的不可近似性结果推广至社区检测问题。

提出的方法

• 通过从标签覆盖问题（Label Cover）的归约，构造一个图，使得社区结构对应于标签覆盖实例中的标签一致性。
• 基于多项式与列表解码的构造方法，将标签覆盖中的约束嵌入图结构中，确保有效社区对应于一致的标签分配。
• 应用生日重复技术（birthday repetition technique）放大标签覆盖实例中的间隙，从而获得强不可近似性结果。
• 通过引入辅助顶点并仔细划分顶点集合，强制实现弱外部连接，确保仅存在一致且外部度数低的社区。
• 应用马尔可夫不等式与概率论证，限制满足外部边约束的顶点数量，证明仅有小而一致的社区可能存在。
• 利用一致集合与多项式间分歧分数的结构，揭示不一致违反情况，从而限制任何候选社区中可能的赋值数量。

实验结果

研究问题

• RQ1 在标准复杂性假设下，对于常数 $\alpha > \beta$，检测图中的$(\alpha,\beta)$-社区是否计算上困难？
• RQ2 能否证明区分具有$(1,\epsilon)$-社区的图与不具有$(\beta+\epsilon,\beta)$-社区的图，需要准多项式时间？
• RQ3 计数$(1,o(1))$-社区是否也困难？若是，其复杂性假设为何？
• RQ4 能否将用于Densest $k$-Subgraph或Nash均衡问题中不可近似性的技术，适配于社区检测问题？

主要发现

• 在指数时间假设（ETH）下，区分具有$(1,\epsilon)$-社区的图与不具有$(\beta+\epsilon,\beta)$-社区的图，需要时间 $n^{\tilde{\Omega}(\log n)}$。
• 即使 $\alpha = 1$ 且 $\beta = 0.01$，该困难性结果依然成立，表明隐藏一个外部连接极弱的团（clique）在计算上也难以检测。
• 在#ETH假设下，计数$(1,\epsilon)$-社区需要时间 $n^{\log^{1-o(1)}n}$，表明精确计数同样为准多项式困难。
• 证明表明，任何$(\beta+\epsilon,\beta)$-社区中每个变量最多可诱导 $4/\epsilon$ 种不同的赋值，从而限制了可能的一致标记数量。
• 辅助顶点被证明无法属于任何有效社区，因为其高重数会违反弱外部连接约束。
• 可靠性论证使用马尔可夫不等式与基于一致性的推理，表明若标签覆盖问题的值较低，则无法存在满足内部与外部边条件的大社区。