[논문 리뷰] Stochastic Block Models and Reconstruction

Elchanan Mossel, Joe Neeman외 1명|arXiv (Cornell University)|2012. 02. 07.

Topological and Geometric Data Analysis참고 문헌 37인용 수 142

한 줄 요약

이 논문은 Decelle 등이 통계역학적 관점에서 제기한 추측의 반을 확인하면서, $(a-b)^2 < 2(a+b)$일 때 희박한 스토하스틱 블록모델에서 클러스터링이 불가능하다는 것을 엄밀히 증명한다. 클러스터링, 스핀글라스 모델, 베티 격자 위의 재구성 문제 사이의 연결 고리를 설정하며, 이 영역에서는 매개변수 추정 역시 불가능하다고 보여주지만, $(a-b)^2 > 2(a+b)$일 땐 효율적인 알고리즘을 제공한다.

ABSTRACT

The planted partition model (also known as the stochastic blockmodel) is a classical cluster-exhibiting random graph model that has been extensively studied in statistics, physics, and computer science. In its simplest form, the planted partition model is a model for random graphs on $n$ nodes with two equal-sized clusters, with an between-class edge probability of $q$ and a within-class edge probability of $p$. Although most of the literature on this model has focused on the case of increasing degrees (ie.\ $pn, qn o \infty$ as $n o \infty$), the sparse case $p, q = O(1/n)$ is interesting both from a mathematical and an applied point of view. A striking conjecture of Decelle, Krzkala, Moore and Zdeborová based on deep, non-rigorous ideas from statistical physics gave a precise prediction for the algorithmic threshold of clustering in the sparse planted partition model. In particular, if $p = a/n$ and $q = b/n$, then Decelle et al.\ conjectured that it is possible to cluster in a way correlated with the true partition if $(a - b)^2 &gt; 2(a + b)$, and impossible if $(a - b)^2 &lt; 2(a + b)$. By comparison, the best-known rigorous result is that of Coja-Oghlan, who showed that clustering is possible if $(a - b)^2 &gt; C (a + b)$ for some sufficiently large $C$. We prove half of their prediction, showing that it is indeed impossible to cluster if $(a - b)^2 &lt; 2(a + b)$. Furthermore we show that it is impossible even to estimate the model parameters from the graph when $(a - b)^2 &lt; 2(a + b)$; on the other hand, we provide a simple and efficient algorithm for estimating $a$ and $b$ when $(a - b)^2 &gt; 2(a + b)$. Following Decelle et al, our work establishes a rigorous connection between the clustering problem, spin-glass models on the Bethe lattice and the so called reconstruction problem. This connection points to fascinating applications and open problems.

연구 동기 및 목표

• 간선 확률이 $a/n$과 $b/n$ 비율로 스케일링되는 희박한 식재된 파artition 모델에서 클러스터링의 알고리즘 임계점을 해결하기 위해.
• Decelle 등이 제기한 비엄밀한 통계역학적 추측을 엄밀히 검증하기 위해, 즉 클러스터링이 가능할 조건이 $(a-b)^2 > 2(a+b)$임을 입증하기 위해.
• 희박한 영역에서 클러스터링, 베티 격자 위의 재구성 문제, 스핀글라스 모델 간의 연결 고리를 설정하기 위해.
• 다른 조건 하에서 그래프의 구조로부터 $a$와 $b$의 매개변수 추정이 가능한지 여부를 규명하기 위해.
• $(a-b)^2 > 2(a+b)$일 때 $a$와 $b$를 추정하는 데 효과적인 단순 알고리즘을 제공하기 위해.

제안 방법

• 베티 격자에서 재구성 문제 프레임워크를 사용하여 그래프의 구조에서 잠재적 공동체 레이블로의 정보 흐름을 분석한다.
• 루트로부터의 거리에 따라 정점에 기반한 함수 $f$를 구성하며, 깊이가 증가함에 따라 레이블의 부호와 연결지어 민감도 전파를 모델링한다.
• 인접행렬 $A$의 스펙트럼 성질을 분석하기 위해 $Af$와 $f$의 스케일된 형태를 비교하며, $|\theta| > (d-1)^{-1/2}$일 때 $\|Af - \lambda f\|_2$가 $\|f\|_2$에 비해 무시할 수 없게 줄어든다.
• 루트로부터 거리 $r$인 정점들의 합을 재귀적으로 분해하여 $Af(v) - \lambda f(v)$의 분산을 계산하며, 깊이 $r$에 따라 지수적으로 감소함을 보여준다.
• 집중부등식을 적용하여 $\|f\|_2^2$가 깊이에 따라 지수적으로 증가하는 반면, $\|Af - \lambda f\|_2^2$는 더 느리게 증가함을 보여, 이는 $f$가 $A$의 거의 고유벡터임을 시사한다.
• 만약 $f$가 고유벡터에 가까우면, $A$의 최고 고유벡터는 진짜 공동체 레이블과 상관관계를 가지며, 이는 재구성 가능성을 의미한다.

실험 결과

연구 질문

• RQ1 $(a-b)^2 < 2(a+b)$일 때 희박한 스토하스틱 블록모델에서 클러스터링이 가능한가?
• RQ2 $(a-b)^2 < 2(a+b)$일 때 그래프로부터 매개변수 $a$와 $b$를 추정할 수 있는가?
• RQ3 재구성 임계점 $(a-b)^2 = 2(a+b)$는 정보이론적 한계에서 단서 전이를 나타내는가?
• RQ4 $(a-b)^2 > 2(a+b)$일 때 스펙트럼 또는 민감도 전파 알고리즘이 클러스터링을 달성할 수 있는가?
• RQ5 클러스터링 문제, 베티 격자 위의 스핀글라스 모델, 재구성 문제 사이의 정확한 연결 고리는 무엇인가?

주요 결과

• $(a-b)^2 < 2(a+b)$일 때 진짜 파artition와 관련된 방식으로 클러스터링이 불가능하며, 이는 Decelle 등이 제기한 추측의 불가능성 부분을 확인한다.
• $(a-b)^2 < 2(a+b)$일 때조차도 $a$와 $b$의 매개변수를 그래프로부터 근사적으로 추정하는 것도 불가능하다.
• $(a-b)^2 > 2(a+b)$일 때는 $a$와 $b$를 그래프로부터 추정하는 데 효과적인 단순한 알고리즘이 존재한다.
• 인접행렬 $A$의 스펙트럼 성질은 $(a-b)^2 > 2(a+b)$일 때 최고 고유벡터가 진짜 공동체 구조와 상관관계를 가짐을 보여준다.
• 분석은 클러스터링 문제와 베티 격자 위의 재구성 문제 사이에 깊은 연결 고리를 확인하며, 통계역학의 스핀글라스 모델과 연결된다.
• 임계점 $(a-b)^2 = 2(a+b)$는 클러스터링과 매개변수 추정의 정보이론적 가능성에서 뚜렷한 단서 전이를 나타낸다.