[논문 리뷰] The Landscape of the Planted Clique Problem: Dense subgraphs and the Overlap Gap Property

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|2019. 04. 15.

Topological and Geometric Data Analysis참고 문헌 37인용 수 29

한 줄 요약

이 논문은 오버랩 갭 성질(OGP)을 렌즈로 삼아 식별 클러스터 문제에서의 계산-통계 갭을 조사한다. 과다매개변수화된 $\bar{k}$-밀도 높은 부분그래프 최적화를 통해 밀도 높은 부분그래프를 분석함으로써, $k = \Theta(\sqrt{n})$에서 OGP 단계 전이에 대한 첫 번째 모멘트 증거를 제시하며, 이는 이 임계값 이하에서 알고리즘적 곤경을 암시한다. 또한 조건부 두 번째 모멘트 방법을 사용하여 $k = n^{0.0917}$에 대해 OGP를 엄밀히 증명한다. $G(n,\frac{1}{2})$에서 $K = n^{0.5 - \epsilon}$인 $K$-밀도 높은 부분그래프에 대한 농도 결과를 확립함으로써, 무작위 그래프 추론에서 알고리즘 장벽을 이해하는 데 새로운 도구를 제공한다.

ABSTRACT

In this paper we study the computational-statistical gap of the planted clique problem, where a clique of size $k$ is planted in an Erdos Renyi graph $G(n,\frac{1}{2})$ resulting in a graph $G\left(n,\frac{1}{2},k ight)$. The goal is to recover the planted clique vertices by observing $G\left(n,\frac{1}{2},k ight)$ . It is known that the clique can be recovered as long as $k \geq \left(2+ε ight)\log n $ for any $ε>0$, but no polynomial-time algorithm is known for this task unless $k=Ω\left(\sqrt{n} ight)$. Following a statistical-physics inspired point of view as an attempt to understand this computational-statistical gap, we study the landscape of the "sufficiently dense" subgraphs of $G$ and their overlap with the planted clique. Using the first moment method, we study the densest subgraph problems for subgraphs with fixed, but arbitrary, overlap size with the planted clique, and provide evidence of a phase transition for the presence of Overlap Gap Property (OGP) at $k=Θ\left(\sqrt{n} ight)$. OGP is a concept introduced originally in spin glass theory and known to suggest algorithmic hardness when it appears. We establish the presence of OGP when $k$ is a small positive power of $n$ by using a conditional second moment method. As our main technical tool, we establish the first, to the best of our knowledge, concentration results for the $K$-densest subgraph problem for the Erdos-Renyi model $G\left(n,\frac{1}{2} ight)$ when $K=n^{0.5-ε}$ for arbitrary $ε>0$. Finally, to study the OGP we employ a certain form of overparametrization, which is conceptually aligned with a large body of recent work in learning theory and optimization.

연구 동기 및 목표

• 식별 클러스터 문제에서 계산-통계 갭을 이해하기 위해, $k \geq (2+\epsilon)\log n$일 때는 복구가 가능하지만 $k = \Omega(\sqrt{n})$ 이하에서는 다항식 시간 알고리즘이 알려져 있지 않은 영역을 대상으로 한다.
• 스핀 거친 모델에서 알고리즘적 곤경의 지표로 알려진 오버랩 갭 성질(OGP)이 식별 클러스터 모델의 밀도 높은 부분그래프의 구조에서 나타나는지 조사한다.
• Erdős-Rényi 무작위 그래프 $G(n, \frac{1}{2})$에서 $K = n^{0.5 - \epsilon}$인 $K$-밀도 높은 부분그래프에 대한 엄밀한 농도 결과를 확립하여 OGP 분석에 필수적인 기초를 마련한다.
• 과다매개변수화—$\bar{k} \geq k$를 도입함—를 기술적 도구로 사용하여 부분그래프 구조의 숨겨진 단계 전이를 드러내는 데 목적이 있다.

제안 방법

• 저자들은 식별 클러스터와 상당한 겹침을 보이는 $\bar{k}$-밀도 높은 부분그래프의 수에 대한 첫 번째 모멘트를 분석함으로써, 이러한 겹침의 확률에 대한 경계를 도출하기 위해 첫 번째 모멘트 방법을 사용한다.
• 과다매개변수화를 도입하여 $\bar{k} \geq k$인 $\bar{k}$-밀도 높은 부분그래프를 연구함으로써, 비과다매개변수화된 경우보다 $k = \Theta(\sqrt{n})$에서 OGP 단계 전이를 더 명확히 탐지할 수 있다.
• 조건부 두 번째 모멘트 방법을 적용하여 $k = n^{0.0917}$에서 OGP의 존재를 증명함으로써, OGP가 알고리즘적 곤경을 암시하는 비트리비얼한 영역를 확립한다.
• 논문은 $G(n, \frac{1}{2})$에서 $K \leq n^{0.5 - \epsilon}$인 $K$-밀도 높은 부분그래프에 대한 농도 부등식을 유도하여, 첫 번째 및 두 번째 순서 행동의 밀도가 매우 좁게 집중됨을 보여주며, 이는 새로운 기술적 기여이다.
• 두 마르코프 체인 간의 커플링을 사용하여 혼합 시간을 경계하고, OGP가 존재할 경우 MCMC 알고리즘이 혼합하지 못함을 증명한다.
• 두 번째 순서 항이 $K \leq n^{0.5 - \epsilon}$에서 $\Theta(K^{3/2})$로 스케일링됨을 바탕으로, $K = n^{2/3}$에서 두 번째 순서 항의 전이가 일어날 것이라 추측한다.

실험 결과

연구 질문

• RQ1 식별 클러스터 모델의 밀도 높은 부분그래프 구조에서 오버랩 갭 성질(OGP)이 나타나는가? 그리고 그 임계값 $k$는 무엇인가?
• RQ2 첫 번째 모멘트 방법이 $k = \Theta(\sqrt{n})$에서 OGP의 단계 전이에 대한 증거를 제공할 수 있는가? 이는 알고리즘 곤경의 추측 임계값으로 여겨진다.
• RQ3 $K = n^{0.5 - \epsilon}$인 $G(n, \frac{1}{2})$에서 $K$-밀도 높은 부분그래프의 농도 행동은 어떠한가? 그리고 이는 OGP 분석에 어떻게 기여하는가?
• RQ4 과다매개변수화—$\bar{k} \geq k$인 $\bar{k}$-밀도 높은 부분그래프를 연구함—를 통해 기존의 $k$-밀도 높은 부분그래프 분석에서는 드러나지 않는 알고리즘 장벽을 드러낼 수 있는가?
• RQ5 두 번째 순서 항이 $\Theta(K^{3/2})$에서 $O(K)$로 전이되는 임계 $K$가 존재하는가? 그 의미는 무엇인가?

주요 결과

• 저자들은 $k = \Theta(\sqrt{n})$에서 OGP의 단계 전이에 대한 첫 번째 모멘트 증거를 제공하며, 이는 이 영역에서 알고리즘적 곤경을 암시한다.
• 조건부 두 번째 모멘트 방법을 사용하여 $k = n^{0.0917}$에서 OGP의 존재를 엄밀히 증명함으로써, OGP가 특정 MCMC 알고리즘의 실패를 암시하는 비트리비얼한 영역를 확립한다.
• 이 논문은 $K = n^{0.5 - \epsilon}$인 $G(n, \frac{1}{2})$에서 $K$-밀도 높은 부분그래프에 대한 첫 번째 농도 결과를 확립하며, 첫 번째 및 두 번째 순서 항의 밀도가 매우 좁게 집중됨을 보여준다.
• $K \leq n^{0.5 - \epsilon}$에서 $K$-밀도 높은 부분그래프의 두 번째 순서 항이 $\Theta(K^{3/2})$로 스케일링됨을 보여주며, 이는 $K = n^{2/3}$에서 잠재적인 임계 전이를 암시한다. 이는 점근적 행동의 변화를 나타내는 것으로 추측된다.
• 저자들은 과다매개변수화—$\bar{k} \geq k$를 고려함—가 OGP 단계 전이를 탐지하는 데 필수적임을 입증하였으며, 비과다매개변수화된 첫 번째 모멘트 곡선은 $k = n^{2/3}$에서 전이를 보이며, 이는 추측된 $k = \sqrt{n}$ 임계값보다 훨씬 높다.
• OGP가 넓은 범위의 MCMC 알고리즘의 실패를 암시함을 보여주며, 식별 클러스터 모델에서 효율적인 샘플링과 복구에 대한 비트리비얼한 장벽을 제공한다.