[논문 리뷰] Information Limits for Recovering a Hidden Community

Bruce Hajek, Yihong Wu외 1명|arXiv (Cornell University)|2015. 09. 25.

Random Matrices and Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 크기 $K$의 숨겨진 커뮤니티를 노이즈가 있는 $n \times n$ 대칭 행렬에서 복원하는 데 있어 날카운 정보이론적 한계를 확립한다. 커뮤니티 내부의 항목은 분포 $P$를 따르고, 외부는 $Q$를 따르며, 약한 복원과 정확한 복원에 대해 날카로운 필수 및 필요조건을 도출한다. 정확한 복원이 정보이론적으로 가능할 조건은 특정 분산 조건이 성립할 때이며, 이 조건이 성립하면 약한 복원 알고리즘을 투표 절차를 통해 선형 시간 내에 정확한 복원으로 업그레이드할 수 있음을 보여준다.

ABSTRACT

We study the problem of recovering a hidden community of cardinality $K$ from an $n imes n$ symmetric data matrix $A$, where for distinct indices $i,j$, $A_{ij} \sim P$ if $i, j$ both belong to the community and $A_{ij} \sim Q$ otherwise, for two known probability distributions $P$ and $Q$ depending on $n$. If $P={ m Bern}(p)$ and $Q={ m Bern}(q)$ with $p>q$, it reduces to the problem of finding a densely-connected $K$-subgraph planted in a large Erdös-Rényi graph; if $P=\mathcal{N}(μ,1)$ and $Q=\mathcal{N}(0,1)$ with $μ>0$, it corresponds to the problem of locating a $K imes K$ principal submatrix of elevated means in a large Gaussian random matrix. We focus on two types of asymptotic recovery guarantees as $n o \infty$: (1) weak recovery: expected number of classification errors is $o(K)$; (2) exact recovery: probability of classifying all indices correctly converges to one. Under mild assumptions on $P$ and $Q$, and allowing the community size to scale sublinearly with $n$, we derive a set of sufficient conditions and a set of necessary conditions for recovery, which are asymptotically tight with sharp constants. The results hold in particular for the Gaussian case, and for the case of bounded log likelihood ratio, including the Bernoulli case whenever $\frac{p}{q}$ and $\frac{1-p}{1-q}$ are bounded away from zero and infinity. An important algorithmic implication is that, whenever exact recovery is information theoretically possible, any algorithm that provides weak recovery when the community size is concentrated near $K$ can be upgraded to achieve exact recovery in linear additional time by a simple voting procedure.

연구 동기 및 목표

• 크기 $K$의 숨겨진 커뮤니티를 대칭 노이즈 행렬에서 복원하는 데 있어 기본적인 정보이론적 한계를 규명하는 것.
• 모든 $n \to \infty$에서 약한 복원(소수의 오류)과 정확한 복원(오류 없음)이 가능한 조건을 규명하는 것.
• 베르누이 및 가우시안 항목을 포함한 다양한 모델을 일반 지수족 프레임워크 아래 통합하는 것.
• 정확한 복원이 정보이론적으로 가능할 경우, 약한 복원 알고리즘을 투표 절차를 통해 선형 시간 내에 정확한 복원으로 업그레이드할 수 있음을 보여주는 것.

제안 방법

• 숨겨진 커뮤니티 모델을 지수족 프레임워크를 사용해 커뮤니티 내부는 $P$, 외부는 $Q$에서 항목을 추출하는 대칭 행렬로 기술한다.
• 클룰바크-라이블러 발산과 로그우도비율 성질에 기반해 약한 복원과 정확한 복원에 대한 필수 및 필요조건을 도출한다.
• 하위선형 $K = o(n)$ 스케일링 하에서 커뮤니티 탐지 문제의 점근적 행동을 분석한다.
• 정보이론적 임계값을 충족할 경우, 약한 복원 알고리즘을 투표 절차를 통해 정확한 복원으로 업그레이드한다.
• 집중 불등식과 대규모 편차 이론을 사용해 분류 오류 확률의 상한을 구한다.
• 필수성과 충분성을 날카롭게 증명함으로써 유도된 조건의 날카로움을 확립한다.

실험 결과

연구 질문

• RQ1 크기 $K$의 숨겨진 커뮤니티를 노이즈가 있는 대칭 행렬에서 복원하는 데 있어 기본적인 정보이론적 한계는 무엇인가요?
• RQ2 모든 $n \to \infty$에서 $P$, $Q$, $K$에 대해 어떤 조건이 성립할 경우 커뮤니티의 정확한 복원이 가능할 수 있나요?
• RQ3 정보이론적 임계값이 충족될 경우, 약한 복원 알고리즘을 체계적으로 정확한 복원으로 업그레이드할 수 있나요?
• RQ4 가우시안 및 베르누이 경우에서 복원 임계값은 어떻게 행동하며, 일반 프레임워크 아래 통합될 수 있나요?
• RQ5 로그우도비율은 복원 임계값의 날카로움을 결정하는 데 어떤 역할을 하나요?

주요 결과

• 가우시안 경우에서 $\mu \to 0$일 때, 정확한 복원은 정보이론적으로 가능하며, 이는 커뮤니티 크기 $K$가 $K \gtrsim \frac{1}{2} \log n$를 만족할 때 성립한다.
• 베르누이 경우에서는 $\frac{p}{q}$와 $\frac{1-p}{1-q}$가 0과 무한대로부터 멀리 떨어져 있고, $K \gtrsim \frac{1}{2} \log n$일 때 정확한 복원이 가능하다.
• 복원에 대한 필수 및 필요조건은 하위선형 $K = o(n)$ 영역에서도 점근적으로 날카로운 상수를 포함해 날카롭게 유도된다.
• 정확한 복원이 정보이론적으로 가능할 경우, 커뮤니티 크기가 $K$ 근처에 집중되어 있는 임의의 약한 복원 알고리즘은 투표 절차를 통해 선형 시간 내에 정확한 복원으로 업그레이드할 수 있다.
• 결과는 가우시안 및 유한 로그우도비율 조건을 포함한 지수족 전반에 걸쳐 균일하게 성립하며, 통합된 특성화가 가능하다.
• 정확한 복원의 임계값은 $P$와 $Q$ 사이의 분산에 의해 결정되며, 베르누이 경우에서는 이 조건이 로그우도비율의 유계성과 동치이다.