[논문 리뷰] Estimating the number of communities by Stepwise Goodness-of-fit

Jiashun Jin, Zheng Tracy Ke외 2명|arXiv (Cornell University)|2020. 09. 19.

Complex Network Analysis Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 SCORE를 통한 커뮤니티 탐지와 새로운 적합도 통계량 $ \psi_n^{(m)} $를 반복적으로 적용하여 네트워크의 커뮤니티 수 $ K $ 를 추정하는 새로운 방법인 단계적 적합도(StGoF)를 제안한다. 점점 커지는 표본 크기에서 $ m = K $ 일 때 $ \psi_n^{(m)} \to N(0,1) $ 이고, $ m < K $ 일 때는 $ \psi_n^{(m)} \to \infty $ 확률적으로 수렴하므로, 약한 신호와 차수 이질성 하에서도 일致적인 $ K $ 추정이 가능하며, 최적의 단계 전이 행동을 보인다.

ABSTRACT

Given a symmetric network with $n$ nodes, how to estimate the number of communities $K$ is a fundamental problem. We propose Stepwise Goodness-of-Fit (StGoF) as a new approach to estimating $K$. For $m = 1, 2, \ldots$, StGoF alternately uses a community detection step (pretending $m$ is the correct number of communities) and a goodness-of-fit step. We use SCORE \cite{SCORE} for community detection, and propose a new goodness-of-fit measure. Denote the goodness-of-fit statistic in step $m$ by $\psi_n^{(m)}$. We show that as $n ightarrow \infty$, $\psi_n^{(m)} ightarrow N(0,1)$ when $m = K$ and $\psi_n^{(m)} ightarrow \infty$ in probability when $m < K$. Therefore, with a proper threshold, StGoF terminates at $m = K$ as desired. We consider a broad setting where we allow severe degree heterogeneity, a wide range of sparsity, and especially weak signals. In particular, we propose a measure for signal-to-noise ratio (SNR) and show that there is a phase transition: when $\mathrm{SNR} ightarrow 0$ as $n ightarrow \infty$, consistent estimates for $K$ do not exist, and when $\mathrm{SNR} ightarrow \infty$, StGoF is consistent, uniformly for a broad class of settings. In this sense, StGoF achieves the optimal phase transition. Stepwise testing algorithms of similar kind (e.g., \cite{wang2017likelihood, ma2018determining}) are known to face analytical challenges. We overcome the challenges by using a different design in the stepwise algorithm and by deriving sharp results in the under-fitting case $(m < K)$ and the null case ($m = K$). The key to our analysis is to show that SCORE has the {\it Non-Splitting Property (NSP)}. The NSP is non-obvious, so additional to rigorous proofs, we also provide an intuitive explanation.

연구 동기 및 목표

• 심한 차수 이질성과 약한 신호를 가진 네트워크에서 커뮤니티 수 $ K $ 를 추정하는 데 기여하는 기본적인 과제를 해결하기 위해.
• 희박하고 약하게 탐지 가능한 설정을 포함한 넓은 범위의 네트워크 모델에 대해 일치하고 강건한 $ K $-추정 방법을 개발하기 위해.
• 신호 대 잡음비(SNR)에 기반한 일치하는 $ K $-추정을 위한 단계 전이를 규명하고, 이론적으로 추정이 불가능한지 또는 가능한지를 식별하기 위해.
• 이전 단계 테스트 알고리즘에서 흔히 발생하는 분석적 난관을 극복하기 위해 새로운 설계를 도입하고, 부족한 피팅($ m < K $) 및 근본가정($ m = K $) 조건 하에서의 정확한 표본 행동을 증명하기 위해.
• 이 방법의 일致성에 핵심적인 이론적 기초가 되는 SCORE의 분할 방지 성질(NSP)을 확립하기 위해.

제안 방법

• StGoF는 $ m $ 개의 커뮤니티를 가정하고 SCORE를 사용한 커뮤니티 탐지 단계와 $ m $-커뮤니티 모델의 적합도를 평가하는 적합도 검정 단계를 번갈아가며 수행한다.
• 새로운 적합도 통계량 $ \psi_n^{(m)} $ 가 제안되며, 이는 $ m = K $ 일 때 점점 커지는 표본 크기에서 표준 정규분포에 수렴한다.
• 알고리즘은 $ \psi_n^{(m)} $ 가 임계값 이하로 떨어질 때 종료되며, 이는 $ m = K $ 일 때 $ N(0,1) $ 으로 수렴함을 바탕으로 올바른 $ K $ 를 식별하는 데 기반한다.
• 이 방법은 $ m < K $ (부족한 피팅) 및 $ m = K $ (근본가정) 조건에서 $ \psi_n^{(m)} $ 의 행동을 정밀하게 제어함으로써 이전 단계 테스트 알고리즘에서 흔히 발생하는 분석적 함정을 피하도록 설계되어 있다.
• SCORE의 분할 방지 성질(NSP)이 증명되며, 이는 약한 신호 하에서도 추정된 커뮤니티가 하위 집단으로 분할되지 않음을 보장하여 방법의 일치성에 필수적이다.
• 커뮤니티 탐지의 가능성을 특성화하기 위해 신호 대 잡음비(SNR) 척도를 도입하였으며, 이는 일치하는 $ K $-추정의 단계 전이를 식별하는 데 기여한다.

실험 결과

연구 질문

• RQ1 약한 신호와 차수 이질성이 있는 네트워크에서 커뮤니티 수 $ K $ 의 일치 추정이 가능한 조건은 무엇인가?
• RQ2 단계 테스트 알고리즘의 성능은 신호 대 잡음비(SNR)에 어떻게 의존하며, 그 일치성에 영향을 주는 단계 전이는 무엇인가?
• RQ3 기존 방법에서 흔한 분석적 난관을 피하면서도 넓은 네트워크 설정 하에서 일치성을 유지할 수 있는 단계 알고리즘이 존재하는가?
• RQ4 커뮤니티 탐지 알고리즘, 특히 SCORE의 어떤 구조적 성질이 제안된 StGoF 방법이 최적의 단계 전이 행동을 달성하는 데 기여하는가?
• RQ5 적합도 통계량 $ \psi_n^{(m)} $ 가 $ m = K $ 와 $ m < K $ 일 때 점점 커지는 표본 크기에서 어떻게 행동하는가? 그리고 이를 정지 기준 설계에 어떻게 활용할 수 있는가?

주요 결과

• $ n \to \infty $ 일 때, $ m = K $ 일 경우 적합도 통계량 $ \psi_n^{(m)} \to N(0,1) $ 으로 분포 수렴하며, 이는 유효한 정지 기준이 된다.
• $ m < K $ 일 경우 $ \psi_n^{(m)} \to \infty $ 확률적으로 수렴하므로, 알고리즘이 조기에 종료되지 않음을 보장한다.
• 이 방법은 최적의 단계 전이를 달성한다: 일치하는 $ K $-추정은 $ \mathrm{SNR} \to \infty $ 이면 가능하고, $ \mathrm{SNR} \to 0 $ 이면 불가능하다.
• StGoF는 심한 차수 이질성과 희박성을 포함한 넓은 범위의 네트워크 모델에 대해 일致하게 작동한다.
• SCORE의 분할 방지 성질(NSP)이 방법의 이론적 타당성에 필수적이며, 이를 증명하는 것이 비명백하고 비자명한 일임이 입증되었다.
• 제안된 SNR 척도를 통해 탐지 가능 임계값을 정밀하게 특성화할 수 있었으며, 이는 $ K $-추정이 가능한가 아닌가를 식별하는 데 기여한다.