[논문 리뷰] Relative Density and Exact Recovery in Heterogeneous Stochastic Block Models

Amin Jalali, Qiyang Han외 2명|arXiv (Cornell University)|2015. 12. 15.

Complex Network Analysis Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 공동체 크기와 연결 확률이 크게 다양해지는 이질적 스토하스틱 블록 모델(SBMs)에서 정확한 복원을 규정하는 핵심 매개변수로 상대 밀도를 도입한다. 이는 매우 작은 공동체(최소 √log n 크기)가 조밀하고 수가 적을 경우(다항로그 수준의 n), 정확한 복원이 가능함을 보여주며, 이는 동일한 SBMs에서 전통적인 √n 기준을 뛰어넘는다.

ABSTRACT

The Stochastic Block Model (SBM) is a widely used random graph model for networks with communities. Despite the recent burst of interest in recovering communities in the SBM from statistical and computational points of view, there are still gaps in understanding the fundamental information theoretic and computational limits of recovery. In this paper, we consider the SBM in its full generality, where there is no restriction on the number and sizes of communities or how they grow with the number of nodes, as well as on the connection probabilities inside or across communities. This generality allows us to move past the artifacts of homogenous SBM, and understand the right parameters (such as the relative densities of communities) that define the various recovery thresholds. We outline the implications of our generalizations via a set of illustrative examples. For instance, $\log n$ is considered to be the standard lower bound on the cluster size for exact recovery via convex methods, for homogenous SBM. We show that it is possible, in the right circumstances (when sizes are spread and the smaller the cluster, the denser), to recover very small clusters (up to $\sqrt{\log n}$ size), if there are just a few of them (at most polylogarithmic in $n$).

연구 동기 및 목표

• 희박하고 이질적인 네트워크에서 공동체 탐지의 정보이론적 및 계산적 한계를 메우기 위해.
• 공동체 크기, 수, 연결 확률에 제한이 없는 일반적인 스토하스틱 블록 모델에서 정확한 복원 임계값을 규명하기 위해.
• 특히 작은 또는 불균형 공동체에 대해 복원 가능성에 영향을 미치는 핵심 매개변수로 상대 밀도를 식별하기 위해.
• 공동체가 충분히 조밀하고 수가 적을 경우, 크기가 √log n에 이르는 공동체에 대해서도 정확한 복원이 가능함을 보여주기 위해.
• 희박하고 이질적이며 공동체가 커지는 SBMs에 적용 가능한 프레임워크를 도입함으로써 기존 결과를 통합하고 일반화하기 위해.

제안 방법

• 임의의 공동체 크기, 성장률, 연결 확률을 允허하는 일반화된 이질적 스토하스틱 블록 모델을 도입한다.
• 공동체 복원 가능성의 핵심 기술자로서, 내부 및 외부 간선 간의 신호 대 잡음 비율을 측정하는 상대 밀도 D(p_k, q)를 정의한다.
• 상대 밀도와 공동체 크기를 기반으로 한 새로운 프레임워크를 제안하여 정확한 복원 임계값을 결정한다.
• 다양한 공동체 구성 조건 하에서 복원 조건을 분석하기 위해 농도 부등식과 무작위 행렬 이론을 적용한다.
• 도수 기반 및 스펙트럼 분석 기법의 조합을 통해 정확한 복원을 위한 충분조건을 유도한다.
• 다양한 공동체 크기와 연결 확률을 가진 구성 사례를 통해 이론적 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 일반적인 이질적 스토하스틱 블록 모델에서 정확한 공동체 복원의 기본 정보이론적 한계는 무엇인가?
• RQ2 내부 및 외부 연결 확률 간의 상대 밀도가 작은 또는 불균형 공동체의 복원 가능성에 어떤 영향을 미치는가?
• RQ3 크기가 √n 이하인 공동체에 대해서도 정확한 복원이 가능할 수 있는가, 그리고 어떤 조건에서 가능한가?
• RQ4 공동체의 수와 크기 분포가 복원 임계값 결정에 어떤 역할을 하는가?
• RQ5 기존의 복원 보장 조건(예: 동일한 SBMs에 대한 것들)은 이질적 설정에서는 어떻게 확장되거나 실패하는가?

주요 결과

• 공동체가 조밀하고 그 수가 최대 다항로그 수준일 경우, 크기가 √log n에 이르는 공동체에 대해서도 정확한 복원이 가능하다.
• 동일한 SBMs에서 공동체 크기의 전통적 √n 기준은 본질적인 것이 아니며, 공동체가 충분히 조밀하면 더 작은 공동체도 복원 가능하다.
• 정확한 복원을 확보하기 위해 상대 밀도 D(p_min, q)는 D(p_min, q) ≳ log n / n_min 를 만족해야 하며, 다양한 구성 조건에 대해 명시적인 경계가 유도되었다.
• 이론적 조건은 (n^ε, O(1), n^{1−ε}) 및 (n/2, n^{−α}log n, 1) 구성에서 검증되었으며, β + ε > 2α 및 2ε + α > 1 조건 하에서 복원이 가능함을 보였다.
• 제안된 프레임워크는 기존 결과를 일반화하며, 볼록 최적화 방법, 스펙트럼 방법, 또는 단순 임계값 설정이 성공할 수 있는 매개변수 영역를 식별한다.
• 정리 1의 마지막 조건가 일부 구성(예: ∑n_k^α 가 o(1)가 아닐 경우)에서 실패함을 보여, 이 방법의 한계와 어려운 영역를 밝혀냈다.