[논문 리뷰] Community Detection and Stochastic Block Models

Emmanuel Abbé|arXiv (Cornell University)|2017. 03. 29.

Complex Network Analysis Techniques인용 수 6

한 줄 요약

이 독서는 확률적 블록 모델(SBMs)에서 커뮤니티 탐지에 대한 종합적인 이론적 분석을 제공하며, 정확한 복구, 부분적 복구, 약한 복구에 대한 기본적인 정보 이론적 및 계산적 한계를 수립한다. 체르노프-헬링거 및 케스텐-스티그룸 임계점에서의 계층 전이를 도출하고 정보-계산 갭을 규명하며, 스펙트럼 방법, 신뢰도 전파, 준정적계획형 프로그래밍과 같은 고급 기법을 사용하여 이러한 한계에 도달한다.

ABSTRACT

The stochastic block model (SBM) is a random graph model with different group of vertices connecting differently. It is widely employed as a canonical model to study clustering and community detection, and provides a fertile ground to study the information-theoretic and computational tradeoffs that arise in combinatorial statistics and more generally data science. This monograph surveys the recent developments that establish the fundamental limits for community detection in the SBM, both with respect to information-theoretic and computational tradeoffs, and for various recovery requirements such as exact, partial and weak recovery. The main results discussed are the phase transitions for exact recovery at the Chernoff-Hellinger threshold, the phase transition for weak recovery at the Kesten-Stigum threshold, the optimal SNR-mutual information tradeoff for partial recovery, and the gap between information-theoretic and computational thresholds. The monograph gives a principled derivation of the main algorithms developed in the quest of achieving the limits, in particular two-round algorithms via graph-splitting, semi-definite programming, (linearized) belief propagation, classical/nonbacktracking spectral methods and graph powering. Extensions to other block models, such as geometric block models, and a few open problems are also discussed.

연구 동기 및 목표

• 확률적 블록 모델(SBMs)에서 커뮤니티 탐지의 기본 정보 이론적 및 계산적 한계를 수립하기 위해.
• 체르노프-헬링거 임계점에서 정확한 복구의 계층 전이와 케스텐-스티그룸 임계점에서 약한 복구의 계층 전이를 특성화하기 위해.
• 희박한 SBMs에서 정보 이론적 한계와 계산적 한계 사이의 갭을 조사하기 위해.
• 스펙트럼, SDP, 신뢰도 전파, 그래프 기반 방법과 같은 알고리즘들을 개발하고 분석하여 이러한 이론적 한계에 도달하기 위해.
• 일반 SBMs, 기하 블록 모델, 그리고 학습, 내성성, 준감독 설정에서의 열린 문제로 결과를 확장하기 위해.

제안 방법

• 정확한 복구에 접근하기 위해 블록 MAP 추정기와 그 스펙트럼 방법 및 준정적계획형 프로그래밍(SDP)을 통한 완화를 사용한다.
• 약한 복구 분석과 케스텐-스티그룸 임계점 유도를 위해 선형화된 신뢰도 전파와 비백트래킹 행렬을 적용한다.
• 알고리즘의 강건성 향상과 케스텐-스티그룸 임계점 초과 복구 달성을 위해 그래프 분할 및 그래프 힘을 사용한다.
• 스피iked 와이너 모델과 대규모 편이 기법의 연결을 통해 부분적 복구의 상호정보량-SNR 상호보완성을 유도한다.
• 정수 및 발산하는 차수 영역에서 대칭 및 일반 SBM을 분석하여 복구 영역을 통합한다.
• 정보-계산 갭 존재성을 증명하기 위해 일반적인 성질 및 구형 비교 방법을 사용한다.

실험 결과

연구 질문

• RQ1 이중 커뮤니티 SBM에서 정확한 복구의 정보 이론적 한계는 무엇이며, 스펙트럼 또는 SDP 방법으로 달성 가능한가?
• RQ2 희박한 SBM에서 약한 복구가 정보 이론적으로 가능한 신호 대 잡음비(SNR)는 어느 수준이며, 이 임계점은 다항 시간 알고리즘에 대해 날카로운가?
• RQ3 정수 차수 영역에서 부분적 복구에 대한 신호 대 잡음비(SNR)와 상호정보량 사이의 최적 상호보완성은 무엇인가?
• RQ4 일반 SBM에서 정보 이론적 한계와 계산적 한계 사이에 갭이 존재하는 이유는 무엇이며, 이 갭은 효율적 알고리즘으로 닫힐 수 있는가?
• RQ5 기본 한계와 임계점은 기하 블록 모델, 겹치는 커뮤니티, 또는 준감독 설정과 같은 확장으로 어떻게 일반화되는가?

주요 결과

• 이중 커뮤니티 SBM에서 정확한 복구는 신호 대 잡음비가 체르노프-헬링거 임계점을 초과할 경우에만 가능하며, 이는 천사 보조 가설 검정과 정보 이론적 역설을 통해 도출된다.
• 이중 커뮤니티 SBM에서 약한 복구는 케스텐-스티그룸 임계점에서 정보 이론적으로 가능하며, 이 임계점은 이하에서 효율적 알고리즘이 존재하지 않는다고 추측할 경우 다항 시간 알고리즘에 대해 날카로운 임계점이다.
• 부분적 복구의 경우, SNR와 상호정보량 사이의 최적 상호보완성이 특성화되며, 정수 차수 영역에서 정점당 상호정보량은 한계로 수렴한다.
• 일반 SBM에서 $k \neq 2$ 커뮤니티일 경우 정보 이론적 한계와 계산적 한계 사이에 갭이 존재하여 일부 문제들은 통계적으로는 해결 가능하지만 계산적으로는 어려운 것으로 나타난다.
• 그래프 힘과 강건한 알고리즘은 케스텐-스티그룸 임계점 초과의 약한 복구 영역을 확장할 수 있으며, 이는 임계점이 항상 알고리즘 성능의 한계가 되는 것은 아님을 시사한다.
• 케스텐-스티그룸 임계점 이하에서 약한 복구를 해결할 수 있는 다항 시간 알고리즘이 존재하지 않는다는 추측은 $k \to \text{일반 } k \neq 2$ 에서 아직 열려 있으나, 최근 유한-SNR 및 발산하는 차수 영역에서의 진전이 이루어졌다.