[논문 리뷰] Non-Reconstructability in the Stochastic Block Model

Joe Neeman, Praneeth Netrapalli|arXiv (Cornell University)|2014. 04. 25.

Random Matrices and Applications참고 문헌 17인용 수 21

한 줄 요약

이 논문은 두 개의 동일 크기의 클러스터 케이스를 초월하여 스토하스틱 블록 모델에서 재구성 불가능성의 충분조건을 설정하며, 이는 동일한 평균 차수를 가진 에르되시-레니 그래프로부터의 구별 불가능성과 연결된다. 재구성 가능성의 실패는 케스텐-스티그룸 경계를 초월할 때조차 발생할 수 있음을 보여주며, 이는 일반적인 블록 모델에서 재구성 가능성을 결정짓는 보편적 임계점으로서 이 경계가 작동한다는 가정을 도전한다.

ABSTRACT

We consider the problem of clustering (or reconstruction) in the stochastic block model, in the regime where the average degree is constant. For the case of two clusters with equal sizes, recent results by Mossel, Neeman and Sly, and by Massoulie, show that reconstructability undergoes a phase transition at the Kesten-Stigum bound of $λ_2^2 d = 1$, where $λ_2$ is the second largest eigenvalue of a related stochastic matrix and $d$ is the average degree. In this paper, we address the general case of more than two clusters and/or unbalanced cluster sizes. Our main result is a sufficient condition for clustering to be impossible, which matches the existing result for two clusters of equal sizes. A key ingredient in our result is a new connection between non-reconstructability and non-distinguishability of the block model from an Erdős-Rényi model with the same average degree. We also show that it is some times possible to reconstruct even when $λ_2^2 d < 1$. Our results provide evidence supporting a series of conjectures made by Decelle, Krzkala, Moore and Zdeborová regarding reconstructability and distinguishability of stochastic block models (but do not settle them).

연구 동기 및 목표

• 두 개의 동일 크기의 클러스터에 국한된 특수 케이스를 초월하여 스토하스틱 블록 모델에서의 재구성 가능성 이해를 확장하기 위해.
• 비균형 또는 다중 클러스터 설정에서 케스텐-스티그룸 경계가 여전히 재구성 가능성에 대한 날카로운 임계점인지 조사하기 위해.
• 재구성 불가능성과 동일한 평균 차수를 가진 에르되시-레니 무작위 그래프로부터의 비구별성 간의 공식적 연결 고리를 수립하기 위해.
• 우도 비율의 두 번째 모멘트가 유한한 조건을 분석하여, 연속성(contiguity)과 재구성 불가능성의 증명 도구로 활용하기 위해.
• 데셀레 등이 제기한 공동체 탐지의 계면 전이에 관한 추측을 도전하고 보완하기 위해, 특히 케스텐-스티그룸 경계와 응집 전이의 역할을 중심으로.

제안 방법

• 일치하는 평균 차수를 가진 에르되시-레니 그래프로부터의 비구별성과 재구성 불가능성 간의 새로운 연결 고리를 도입하였다.
• 두 번째 모멘트 방법을 사용하여 스토하스틱 블록 모델과 에르되시-레니 모델 간의 우도 비율이 유한한 두 번째 모멘트를 가지는 조건을 확립하였으며, 이는 연속성을 암시한다.
• 그래프 내의 작은 분리자에 기반한 조건부 독립성 추론을 적용하였으며, 모스텔 등(2013)의 레미 4.7의 변형을 활용하여 레이블의 점근적 독립성을 보였다.
• 일관된 적분 가능성(uniform integrability)과 총 변동 거리(total variation distance)를 활용하여, 노드의 레이블 사후분포가 사전분포로 수렴함을 보여주어 정보의 증가가 없음을 입증하였다.
• 두 번째 모멘트가 유한한 영역에 대한 경계를 유도하였으며, 이는 연속성에 대해 충분하지만 필수적인 것은 아니며, 일부 경우에서 이 영역은 비균형 모델에서 케스텐-스티그룸 경계까지 항상 연장되지 않는다는 것을 보였다.
• 함수 Q의 수치적 최적화를 통해 일관된 적분 가능성 조건에서의 Q를 추정하였으며, 명시적 해석 형태는 제공되지 않았다.

실험 결과

연구 질문

• RQ1 세 개 이상의 클러스터 또는 비균형 클러스터 크기를 가진 스토하스틱 블록 모델에서 케스텐-스티그룸 경계가 재구성 가능성에 대한 보편적 임계점인가?
• RQ2 동일한 평균 차수를 가진 에르되시-레니 그래프로부터의 비구별성에 의해 재구성 불가능성이 입증될 수 있는가?
• RQ3 비균형 두 클러스터 모델에서 재구성 가능성과 재구성 불가능성의 정확한 경계는 무엇인가?
• RQ4 우도 비율의 (1+ε) 모멘트의 유한성은 연속성과 재구성 불가능성과 어떻게 관련되는가?
• RQ5 일관된 적분 가능성 조건에서 함수 Q는 명시적으로 계산할 수 있는가, 아니면 수치적으로만 추정할 수 있는가?

주요 결과

• 논문은 일반적인 스토하스틱 블록 모델에서 재구성 불가능성에 대한 충분조건를 설정하였으며, 이는 두 개의 동일 크기의 클러스터에 대해 알려진 결과와 일치한다.
• λ₂²d < 1 인 경우조차도 재구성 불가능성이 발생할 수 있음을 보여주며, 이는 케스텐-스티그룸 경계가 재구성 실패에 대한 필수 임계점이 아님을 시사한다.
• 케스텐-스티그룸 경계를 초월한 영역에서 스토하스틱 블록 모델은 해당하는 에르되시-레니 모델과 수직(orthogonal)이 되며, 강한 통계적 구별 가능성을 나타낸다.
• 케스텐-스티그룸 경계 이하에서는 일부 영역에서 두 모델이 상호 연속적이지만, 이 연속성은 항상 케스텐-스티그룸 경계까지 연장되지 않으며, 특히 비균형 모델에서는 그렇지 않다.
• 두 번째 모멘트 조건은 연속성에 대해 충분하지만 필수적인 것은 아니며, 일부 경우에서 이 모멘트의 유한성 영역은 전체 연속성 영역보다 엄밀히 작다.
• 저자들은 데셀레 등이 공동체 탐지의 계면 전이에 대해 제기한 추측을 지지하는 증거를 제시하지만, 이를 증명하지는 않았으며, 특히 효율적 재구성과 계산적 난이도의 차이를 중심으로 한다.