[논문 리뷰] Detecting communities is hard, and counting them is even harder

Aviad Rubinstein|arXiv (Cornell University)|2016. 11. 25.

Complexity and Algorithms in Graphs참고 문헌 23인용 수 4

한 줄 요약

이 논문은 네트워크에서 $(\alpha,\beta)$-커뮤니티를 탐지하고 세는 것이 계산적으로 어렵다는 것을 증명한다. 이는 지수 시간 가설(ETH)과 #ETH 하에 준다항식 시간이 필요하다. 강력한 근사 불가능성 결과를 확립한다: 거의 완벽한 커뮤니티가 있는 그래프와 약하게 연결된 커뮤니티가 전혀 없는 그래프를 구분하는 것도 어렵고, 이는 상수 $\alpha > \beta$ 인 경우에도 마찬가지이며, 이러한 커뮤니티를 세는 것 역시 준다항식 시간이 필요하다.

ABSTRACT

We consider the algorithmic problem of community detection in networks. Given an undirected friendship graph $G=\left(V,E ight)$, a subset $S\subseteq V$ is an $\left(α,β ight)$-community if: * Every member of the community is friends with an $α$-fraction of the community; * Every non-member is friends with at most a $β$-fraction of the community. Arora et al [AGSS12] gave a quasi-polynomial time algorithm for enumerating all the $\left(α,β ight)$-communities for any constants $α>β$. Here, we prove that, assuming the Exponential Time Hypothesis (ETH), quasi-polynomial time is in fact necessary - and even for a much weaker approximation desideratum. Namely, distinguishing between: * $G$ contains an $\left(1,o\left(1 ight) ight)$-community; and * $G$ does not contain an $\left(β+o\left(1 ight),β ight)$-community for any $β\in\left[0,1 ight]$. We also prove that counting the number of $\left(1,o\left(1 ight) ight)$-communities requires quasi-polynomial time assuming the weaker #ETH.

연구 동기 및 목표

• 표준 복잡도 가정 하에 그래프에서 $(\alpha,\beta)$-커뮤니티 탐지에 대한 계산 하한을 확립하기 위해.
• 근처 완벽한 커뮤니티가 있는 그래프와 약하게 연결된 커뮤니티가 전혀 없는 그래프를 구분하는 것이 준다항식 시간이 필요하다는 것을 보여주기 위해.
• 더 약한 #ETH 가정 하에 $(1,o(1))$-커뮤니티의 수를 세는 것이 역시 어렵다는 것을 증명하기 위해.
• 밀도가 높은 $k$-서브그래프나 나시 균형점 문제와 같은 관련 문제들에서의 근사 불가능성 결과를 커뮤니티 탐지 문제로 확장하기 위해.

제안 방법

• 라벨 커버 문제에서의 감소를 이용하여, 커뮤니티 구조가 라벨 커버 인스턴스의 라벨 일致성과 대응되는 네트워크를 구성한다.
• 다항식과 리스트 디코딩 기반의 구성법을 활용하여 라벨 커버의 제약 조건을 그래프 구조에 통합함으로써, 유효한 커뮤니티가 일치하는 라벨 할당에 대응하도록 보장한다.
• 생일 반복 기법을 적용하여 라벨 커버 인스턴스의 갭을 증폭시켜 강력한 근사 불가능성 결과를 도출한다.
• 보조 정점과 철저히 분할된 정점 집합을 사용하여 약한 외부 연결을 강제함으로써, 오직 일관된, 낮은 외부 차수의 커뮤니티만 존재하도록 보장한다.
• 마르코프 부등식과 확률적 추론을 적용하여, 외부 간선 조건을 만족할 수 있는 정점 수를 바ounds함으로써, 오직 작은 일관된 커뮤니티만 존재할 수 있음을 증명한다.
• 다항식 간의 일치 집합과 불일치 분율의 구조를 활용하여 부적합성 위반이 발생함을 보여주고, 잠재적 할당 수를 제한한다.

실험 결과

연구 질문

• RQ1 표준 복잡도 가정 하에 상수 $\alpha > \beta$ 인 경우 그래프에서 $(\alpha,\beta)$-커뮤니티 탐지가 계산적으로 어려운가?
• RQ2 $(1,\epsilon)$-커뮤니티가 있는 그래프와 $(\beta+\epsilon,\beta)$-커뮤니티가 전혀 없는 그래프를 구분하는 데 준다항식 시간이 필요한가?
• RQ3 $(1,o(1))$-커뮤니티의 수를 세는 것도 어렵고, 만약 그렇다면 어떤 복잡도 가정 하에 성립하는가?
• RQ4 밀도가 높은 $k$-서브그래프나 나시 균형점 문제에서 사용된 기법들을 커뮤니티 탐지 문제에 적용할 수 있는가?

주요 결과

• 지수 시간 가설(ETH) 하에, $(1,\epsilon)$-커뮤니티가 있는 그래프와 $(\beta+\epsilon,\beta)$-커뮤니티가 전혀 없는 그래프를 구분하는 데 시간 $n^{\tilde{\Omega}(\log n)}$ 이 필요하다.
• 이 난이도 결과는 $\alpha = 1$ 이고 $\beta = 0.01$ 인 경우에도 성립하여, 매우 약한 외부 연결을 가진 클리크를 감추는 것이 계산적으로 탐지하기 어렵다는 것을 보여준다.
• #ETH 가정 하에 $(1,\epsilon)$-커뮤니티의 수를 세는 데 시간 $n^{\log^{1-o(1)}n}$ 이 필요하며, 이는 정확한 세는 것이 역시 준다항식 난이도를 가짐을 시사한다.
• 증명은 $(\beta+\epsilon,\beta)$-커뮤니티가 각 변수당 최대 $4/\epsilon$개의 서로 다른 할당을 유도할 수 있음을 보여주며, 일관된 라벨링의 수를 제한한다.
• 보조 정점은 그 높은 다중성으로 인해 약한 외부 연결 조건을 위반하므로, 어떤 유효한 커뮤니티에서도 제외됨을 보였다.
• 정당성 증명은 마르코프 부등식과 일치 기반 추론을 활용하여, 라벨 커버의 값이 낮을 경우 내부 및 외부 간선 조건을 만족하는 큰 커뮤니티가 존재할 수 없다는 것을 보여준다.