[논문 리뷰] Community detection in general stochastic block models: fundamental limits and efficient recovery algorithms

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|2015. 03. 02.

Complex Network Analysis Techniques참고 문헌 56인용 수 65

한 줄 요약

이 논문은 일반적인 스토하스틱 블록 모델(SBM)에서 다수의 비대칭 커뮤니티를 가진 경우, 헬링거 및 체르노프 분리도를 일반화하는 새로운 분리도 $ D_+ $ 를 도입하여 커뮤니티 탐지의 기본 한계를 규명한다. 이는 정보 이론적 임계값까지 정확한 복원을 달성하는 준선형 시간 알고리즘을 제시하며, 다수의 커뮤니티에 대해 기존의 추측과는 달리 계산적 격차가 존재하지 않음을 증명한다.

ABSTRACT

New phase transition phenomena have recently been discovered for the stochastic block model, for the special case of two non-overlapping symmetric communities. This gives raise in particular to new algorithmic challenges driven by the thresholds. This paper investigates whether a general phenomenon takes place for multiple communities, without imposing symmetry. In the general stochastic block model $ ext{SBM}(n,p,Q)$, $n$ vertices are split into $k$ communities of relative size $\{p_i\}_{i \in [k]}$, and vertices in community $i$ and $j$ connect independently with probability $\{Q_{i,j}\}_{i,j \in [k]}$. This paper investigates the partial and exact recovery of communities in the general SBM (in the constant and logarithmic degree regimes), and uses the generality of the results to tackle overlapping communities. The contributions of the paper are: (i) an explicit characterization of the recovery threshold in the general SBM in terms of a new divergence function $D_+$, which generalizes the Hellinger and Chernoff divergences, and which provides an operational meaning to a divergence function analog to the KL-divergence in the channel coding theorem, (ii) the development of an algorithm that recovers the communities all the way down to the optimal threshold and runs in quasi-linear time, showing that exact recovery has no information-theoretic to computational gap for multiple communities, in contrast to the conjectures made for detection with more than 4 communities; note that the algorithm is optimal both in terms of achieving the threshold and in having quasi-linear complexity, (iii) the development of an efficient algorithm that detects communities in the constant degree regime with an explicit accuracy bound that can be made arbitrarily close to 1 when a prescribed signal-to-noise ratio (defined in term of the spectrum of $\diag(p)Q$) tends to infinity.

연구 동기 및 목표

• 임의의 커뮤니티 크기와 연결 확률을 가진 일반적인 스토하스틱 블록 모델(SBM)에서 부분적 및 정확한 커뮤니티 복원의 기본 한계를 규명하는 것.
• 특히 두 커뮤니티 경우를 초월하여 다중 커뮤니티 SBM에서 정확한 복원에 대해 계산적-정보 이론적 격차가 존재하는지 여부를 해결하는 것.
• 특히 일정도 수준에서의 복원 조건까지 정보 이론적 임계값을 달성하는 효율적인 알고리즘 개발.
• 제안된 분리도와 복원 조건의 일반성에 기반해 오버랩핑 커뮤니티로의 프레임워크 확장.
• $ D_+ $ 를 채널 부호화에서 KL-분리도와 유사한 운영적 의미를 부여하며, 명시적인 신호 대 잡음비(SNR) 임계값을 제공하는 것.

제안 방법

• 헬링거 및 체르노프 분리도를 일반화하는 새로운 분리도 함수 $ D_+ $ 를 도입하며, 이는 $ t \in [0,1] $ 에서의 초과값으로 정의되며, $ \sum_{\ell} \left[ t(QP)_{\ell,i} + (1-t)(QP)_{\ell,j} - (QP)_{\ell,i}^t (QP)_{\ell,j}^{1-t} \right] $ 의 합을 취한다.
• 지역적 이웃 구조와 차수 프로파일을 활용하여 정점 분류를 고도로 수행하는 구면 비교 알고리즘을 개발한다.
• 정점의 차수 프로파일을 커뮤니티 간 비교하여 정확한 복원을 수행하는 차수 프로파일링 알고리즘을 제안하며, 농도 불등식을 이용해 높은 확률로 정확성을 보장한다.
• 그래프 간 의존성을 다루기 위해 레마 13의 강력한 형태의 농도 불등식을 적용하여 오차율이 점 渐 渐 수렴함을 보장한다.
• 일정도 수준에서 알고리즘 성능을 결정하는 신호 대 잡음비(SNR)를 정의하기 위해 $ \operatorname{diag}(p)Q $ 의 스펙트럼 분석을 수행한다.
• 정점 프로파일이 구분 불가능한 상황을 증명하기 위해 $ n / \log^3 n $ 개의 정점으로 구성된 집합 $ S $ 에 대한 랜덤 샘플링 기법을 사용하며, $ D_+( (PQ)_i, (PQ)_j ) < 1 $ 이면 불가능성을 입증한다.

실험 결과

연구 질문

• RQ1 임의의 커뮤니티 크기와 연결 확률을 가진 일반 SBM에서 정확한 커뮤니티 복원의 기본 임계값은 무엇인가?
• RQ2 특히 커뮤니티 수가 네 개를 초월할 경우, 다중 커뮤니티 SBM에서 정확한 복원에 대해 계산적-정보 이론적 격차가 존재하는가?
• RQ3 일반 SBM에서 효율적인 알고리즘이 정보 이론적 임계값까지 정확한 복원을 달성할 수 있는가?
• RQ4 새로운 분리도 $ D_+ $ 는 기존의 KL, 헬링거, 체르노프 분리도와 어떻게 관련이 있으며, 커뮤니티 탐지에서의 운영적 의미는 무엇인가?
• RQ5 복원 조건과 알고리즘을 일반화함으로써 프레임워크를 오버랩핑 커뮤니티로 확장할 수 있는가?

주요 결과

• 논문은 일반 SBM에서 정확한 복원이 가능한 조건이 모든 $ i \neq j $ 에 대해 $ D_+( (PQ)_i, (PQ)_j ) > 1 $ 라는 조건과 동치임을 규명하며, 이 임계값은 날카롭고 정보 이론적으로 날카로운 것으로 밝혀졌다.
• 제안된 차수 프로파일링 알고리즘은 준선형 시간 $ O(n \log n) $ 내에 정확한 복원을 달성하며, 이는 정보 이론적 임계값과 일치하고, 다중 커뮤니티에 대해 계산적 격차가 존재하지 않음을 입증한다.
• 일정도 수준에서 알고리즘은 $ O\left( \frac{1}{n} \ln n^{-1/4} \right) $ 의 오차율을 달성하며, $ n \to \infty $ 일 때 0으로 수렴한다. SNR( $ \operatorname{diag}(p)Q $ 의 스펙트럼을 통해 정의됨)가 무한대에 가까워질수록 이 오차율은 1에 임의로 가까워질 수 있다.
• 역방향 결과는 어떤 $ i \neq j $ 에 대해 $ D_+( (PQ)_i, (PQ)_j ) < 1 $ 이면, 어떤 알고리즘도 높은 확률로 모든 정점을 올바르게 분류할 수 없음을 보여주며, 이는 커뮤니티 $ i $ 와 $ j $ 간에 구분 불가능한 정점 프로파일이 존재하기 때문이다.
• $ D_+ $ 분리도는 채널 부호화에서 KL-분리도와 유사한 운영적 의미를 부여하며, SBM 내 커뮤니티 프로파일 간의 구분 가능성 정도를 정량화한다.
• 제안된 프레임워크는 오버랩핑 커뮤니티로의 일반화를 성공적으로 확장하였으며, SBM의 일반화로 간주하고 동일한 $ D_+ $ 기반 기준을 통해 복원 임계값을 유도하였다.