[논문 리뷰] Semidefinite Programs on Sparse Random Graphs and their Application to Community Detection

Andrea Montanari, Subhabrata Sen|arXiv (Cornell University)|2015. 04. 22.

Complex Network Analysis Techniques인용 수 6

한 줄 요약

이 논문은 평균 차수 $d$ 가 유계인 에르되시-레니 및 랜덤 정규 그래프와 같은 희박한 랜덤 그래프에서 정수형 프로그래밍(SDP)을 분석하며, $2n\sqrt{d} + o(n\sqrt{d})$ 수준으로 SDP 값이 집중됨을 보여준다. 이는 희박한 스토하스틱 블록 모델에서 커뮤니티 탐지에 대해 정보 이론적으로 최적의 임계값을 달성함을 의미하며, $(a-b)^2/(4d) > 1 + o_d(1)$ 조건을 만족할 경우 커뮤니티 탐지가 가능하다. 이는 기본 한계인 $(a-b)^2/(4d) > 1$ 과 거의 일치한다. 분석은 고차원 그로텐디크 부등식, 통계역학에서 유래한 통합 방법, 그리고 변형된 랜덤 행렬의 고유벡터 분석을 결합한다.

ABSTRACT

Denote by $A$ the adjacency matrix of an Erdos-Renyi graph with bounded average degree. We consider the problem of maximizing $\langle A-E\{A\},X angle$ over the set of positive semidefinite matrices $X$ with diagonal entries $X_{ii}=1$. We prove that for large (bounded) average degree $d$, the value of this semidefinite program (SDP) is --with high probability-- $2n\sqrt{d} + n\, o(\sqrt{d})+o(n)$. For a random regular graph of degree $d$, we prove that the SDP value is $2n\sqrt{d-1}+o(n)$, matching a spectral upper bound. Informally, Erdos-Renyi graphs appear to behave similarly to random regular graphs for semidefinite programming. We next consider the sparse, two-groups, symmetric community detection problem (also known as planted partition). We establish that SDP achieves the information-theoretically optimal detection threshold for large (bounded) degree. Namely, under this model, the vertex set is partitioned into subsets of size $n/2$, with edge probability $a/n$ (within group) and $b/n$ (across). We prove that SDP detects the partition with high probability provided $(a-b)^2/(4d)> 1+o_{d}(1)$, with $d= (a+b)/2$. By comparison, the information theoretic threshold for detecting the hidden partition is $(a-b)^2/(4d)> 1$: SDP is nearly optimal for large bounded average degree. Our proof is based on tools from different research areas: $(i)$ A new `higher-rank' Grothendieck inequality for symmetric matrices; $(ii)$ An interpolation method inspired from statistical physics; $(iii)$ An analysis of the eigenvectors of deformed Gaussian random matrices.

연구 동기 및 목표

• 희박한 랜덤 그래프, 특히 평균 차수가 유계인 에르되시-레니 및 랜덤 정규 그래프에서 정수형 프로그래밍(SDP)의 거동를 이해하는 것.
• 단위 대각 원소를 가진 랭크-1 양정합행렬에 대해 $\langle \mathbf{A} - \mathbb{E}[\mathbf{A}], \mathbf{X} \rangle $ 를 최대화하는 SDP의 점근적 정확한 값 구하기.
• 희박한 두 커뮤니티 스토하스틱 블록 모델에서 SDP가 정보 이론적으로 최적의 탐지 임계값을 달성할 수 있는지 판단하는 것.
• 특히, 랭크-제약이 있는 SDP 근사에서의 오차를 제어하기 위한 새로운 분석 도구—즉, 고차원 그로텐디크 부등식과 통합 방법—개발하기.

제안 방법

• 에르되시-레니 그래프 $G(n, d/n)$ 에서의 SDP 점근적 값을, 큰 유계 $d$ 에 대해 고확률적으로 $2n\sqrt{d} + n\,o(\sqrt{d}) + o(n)$ 으로 유도한다.
• 랜덤 정규 그래프 $G^{{\rm reg}}(n,d)$ 에서의 SDP 값이 $2n\sqrt{d-1} + o(n)$ 이며, 스펙트럼 상한과 일치함을 증명한다.
• 랭크 제약이 있는 SDP 근사에서의 오차를 제어하기 위해 대칭 행렬에 대한 고차원 그로텐디크 부등식을 도입한다.
• 통계역학에서 영감을 얻은 통합 방법을 적용하여 그래프 모델을 부드럽게 변형하고, 외부 요동에 의한 SDP 값의 제어를 가능하게 한다.
• 커뮤니티 탐지 설정에서 최적 해의 구조를 이해하기 위해 변형된 가우시안 랜덤 행렬의 고유벡터를 분석한다.
• 린데베르그의 방법을 사용하여 희박한 그래프의 중심화된 인접행렬을 가우시안 행렬 모델로 대체함으로써 정밀한 점근적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박한 에르되시-레니 그래프에서 정수형 프로그래밍 $\max \langle \mathbf{A} - \mathbb{E}[\mathbf{A}], \mathbf{X} \rangle $ 의 점근적 값은 무엇인가? 이때 $\mathbf{X} \succeq 0$, $\operatorname{diag}(\mathbf{X}) = \mathbf{1}$ 이다.
• RQ2 랜덤 정규 그래프에서의 SDP 값은 에르되시-레니 그래프와 어떻게 비교되며, 스펙트럼 상한과 일치하는가?
• RQ3 신호 대 잡음 비율이 정보 이론적 임계값 근처일 때, 정수형 프로그래밍은 희박한 스토하스틱 블록 모델에서 커뮤니티를 탐지할 수 있는가?
• RQ4 도수의 변동으로 인해 스펙트럼 방법이 실패하는 희박한 그래프에서 SDP를 분석하기 위해 어떤 새로운 수학적 도구가 필요한가?
• RQ5 희박한 그래프에서의 SDP 값은 그래프의 도수 분포에 얼마나 의존하는가? 이는 가우시안 모델을 통해 기술될 수 있는가?

주요 결과

• 평균 차수 $d$ 를 가진 에르되시-레니 그래프에서, $n \to \infty$ 일 때 고확률적으로 SDP 값은 $2n\sqrt{d} + n\,o(\sqrt{d}) + o(n)$ 이다.
• 차수 $d$ 의 랜덤 정규 그래프에서의 SDP 값은 $2n\sqrt{d-1} + o(n)$ 이며, 스펙트럼 상한 $2\sqrt{d-1}$ 과 일치한다.
• SDP는 희박한 두 커뮤니티 스토하스틱 블록 모델에서 정보 이론적으로 최적의 탐지 임계값을 달성한다: $(a-b)^2/(4d) > 1 + o_d(1)$ 일 때 커뮤니티 탐지가 가능하다.
• 임계값 $ (a-b)^2/(4d) > 1 $ 은 커뮤니티 탐지의 기본 한계이므로, 큰 유계 $d$ 에서 SDP는 거의 최적이다.
• 분석은 랭크-제약이 있는 SDP 근사에서의 오차를 제어하는 데 사용되는 새로운 고차원 그로텐디크 부등식에 의존한다.
• 증명은 통합 방법과 린데베르그의 접근을 사용하여 인접행렬을 가우시안 행렬 모델로 대체함으로써 정밀한 점근적 제어를 가능하게 한다.