[논문 리뷰] Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence

Varun Jog, Po‐Ling Loh|arXiv (Cornell University)|2015. 09. 21.

Random Matrices and Applications참고 문헌 37인용 수 34

한 줄 요약

이 논문은 무게가 부여된 스토하스틱 블록 모델에서 정확한 커뮤니티 복원을 위한 정보이론적 임계값을 도출한다. 이는 내부 커뮤니티와 간선 간 무게 분포 간의 1/2차 레니 엔트로피의 차이를 기반으로 하며, 최대우도추정법이 레니 엔트로피가 임계값을 초과할 경우 고확률로 성공하고, 그 이하일 경우 유한한 확률로 실패함을 증명한다. 이는 이전의 이산형 스토하스틱 블록 모델 결과를 연속형 및 이산형 간선 무게 모델로 일반화한다.

ABSTRACT

We derive sharp thresholds for exact recovery of communities in a weighted stochastic block model, where observations are collected in the form of a weighted adjacency matrix, and the weight of each edge is generated independently from a distribution determined by the community membership of its endpoints. Our main result, characterizing the precise boundary between success and failure of maximum likelihood estimation when edge weights are drawn from discrete distributions, involves the Renyi divergence of order $\frac{1}{2}$ between the distributions of within-community and between-community edges. When the Renyi divergence is above a certain threshold, meaning the edge distributions are sufficiently separated, maximum likelihood succeeds with probability tending to 1; when the Renyi divergence is below the threshold, maximum likelihood fails with probability bounded away from 0. In the language of graphical channels, the Renyi divergence pinpoints the information-theoretic capacity of discrete graphical channels with binary inputs. Our results generalize previously established thresholds derived specifically for unweighted block models, and support an important natural intuition relating the intrinsic hardness of community estimation to the problem of edge classification. Along the way, we establish a general relationship between the Renyi divergence and the probability of success of the maximum likelihood estimator for arbitrary edge weight distributions. Finally, we discuss consequences of our bounds for the related problems of censored block models and submatrix localization, which may be seen as special cases of the framework developed in our paper.

연구 동기 및 목표

• 임의의 간선 무게 분포를 가진 가중 스토하스틱 블록 모델에서 정확한 커뮤니티 복원을 위한 정보이론적 한계를 유도하는 것.
• 이전에 이산형 스토하스틱 블록 모델에서 관찰된 1/2차 레니 엔트로피가 가중 모델에서도 근본적인 측정치로 유지되는지 확인하는 것.
• 기존의 이산형 스토하스틱 블록 모델에서의 정확한 복원 임계값을 가중 블록 모델으로 일반화하는 것.
• 임의의 간선 무게 분포에 대해 레니 엔트로피와 최대우도추정의 성공 확률 간의 일반적인 관계를 수립하는 것.
• 제안된 프레임워크의 특수한 경우로서 캐싱된 블록 모델과 부분행렬 국소화 문제에 대한 함의를 탐색하는 것.

제안 방법

• 저자들은 간선 무게를 커뮤니티별로 특화된 분포에서 독립적으로 추출된 랜덤 변수로 모델링하며, 내부 커뮤니티 간선과 간선 간 간선은 서로 다른 분포를 따른다.
• 내부 및 간선 간 커뮤니티 간 간선 분포 간의 1/2차 레니 엔트로피를 사용하여 최대우도추정의 실패 확률에 대한 일반적 상한을 도출한다.
• 대수분포 이론과 모멘트 생성 함수 기법을 활용하여 근사적으로 근사된 우도비의 행동을 근본가설과 대립가설 하에서 특성화한다.
• 핵심 기술적 단계로는 모멘트 생성 함수의 渐近 전개를 사용하여 정규화된 우도비 합의 수렴이 정규분포로 수렴함을 보이는 것이다.
• 증명은 우도비 증분의 대칭 분포를 구성하고 다양한 간선 무게 모델 하에서 그 질량 분포를 분석하는 데 의존한다.
• 이 프레임워크는 캐싱된 블록 모델과 부분행렬 국소화 문제들이 고려 중인 가중 스토하스틱 블록 모델의 특수한 경우임을 보여주기 위해 확장된다.

실험 결과

연구 질문

• RQ1 이산형 또는 연속형 간선 무게를 가진 가중 스토하스틱 블록 모델에서 1/2차 레니 엔트로피가 여전히 정확한 복원을 위한 날카운 임계값으로 기능하는가?
• RQ2 최대우도추정의 성공 확률은 내부 및 간선 간 커뮤니티 간선 분포 간의 분리 정도에 어떻게 의존하는가?
• RQ3 이진 입력을 가진 그래프 채널의 정보이론적 용량은 가중 모델에서 1/2차 레니 엔트로피로 특성화될 수 있는가?
• RQ4 기존의 이산형 스토하스틱 블록 모델 복원 임계값은 어느 정도 더 rich한 간선 무게 정보를 가진 모델로 일반화될 수 있는가?
• RQ5 유도된 상한은 캐싱된 블록 모델과 부분행렬 국소화와 같은 관련 문제에 대해 어떤 함의를 갖는가?

주요 결과

• 내부 커뮤니티와 간선 간 커뮤니티 간 간선 분포 간의 1/2차 레니 엔트로피가 임계값을 초과할 경우, 최대우도추정을 통한 정확한 복원은 확률이 1로 수렴한다.
• 레니 엔트로피가 임계값 이하일 경우, 최대우도추정은 0에서 벗어나는 확률로 실패하므로 날카운 전이가 발생함을 시사한다.
• 1/2차 레니 엔트로피는 가중 스토하스틱 블록 모델에서 커뮤니티 추정의 본질적 어려움을 측정하는 근본적인 정보이론적 척도로 기능한다.
• 결과는 기존의 이산형 스토하스틱 블록 모델의 임계값을 임의의 이산형 간선 무게 분포로 일반화하며, 레니 엔트로피가 핵심 제어 매개변수로서의 역할을 유지한다.
• 프레임워크는 커뮤니티 복원이 정보이론적 수준에서 내부 및 간선 간 간선 유형을 분류하는 것과 동일한 난이도를 가진다는 자연스러운 직관을 지원한다.
• 유도된 상한은 캐싱된 블록 모델과 부분행렬 국소화 문제에 적용되며, 이들이 제안된 프레임워크 하에서 가중 스토하스틱 블록 모델의 특수한 경우임을 보여준다.