[논문 리뷰] Determining the Number of Communities in Degree-corrected Stochastic Block Models

Shujie Ma, Liangjun Su외 1명|arXiv (Cornell University)|2018. 09. 04.

Complex Network Analysis Techniques참고 문헌 32인용 수 19

한 줄 요약

이 논문은 도수 보정 스토케스틱 블록 모형(DCSBM)에서 커뮤니티 수를 일관되게 추정하기 위해 가짜 우도 비율 통계량과 스펙트럴 클러스터링, 이진 분할법을 조합하여 제안한다. 평균 차수(average degrees)가 log(n) 이상의 속도로 증가하는 온건한 조건 하에서, 이 방법은 일관성과 과적합 및 과소적합 상황에서의 점근적 분포를 보장한다.

ABSTRACT

We propose to estimate the number of communities in degree-corrected stochastic block models based on a pseudo likelihood ratio statistic. To this end, we introduce a method that combines spectral clustering with binary segmentation. This approach guarantees an upper bound for the pseudo likelihood ratio statistic when the model is over-fitted. We also derive its limiting distribution when the model is under-fitted. Based on these properties, we establish the consistency of our estimator for the true number of communities. Developing these theoretical properties require a mild condition on the average degrees -- growing at a rate no slower than log(n), where n is the number of nodes. Our proposed method is further illustrated by simulation studies and analysis of real-world networks. The numerical results show that our approach has satisfactory performance when the network is semi-dense.

연구 동기 및 목표

• 실제로 알려져 있지 않은 진짜 커뮤니티 수를 추정하는 데 있어 도수 보정 스토케스틱 블록 모형(DCSBM)에서의 핵심 과제를 해결하기 위해.
• 고유값과 같은 부분 통계량에 의존하는 것보다 전체 데이터 구조를 활용하는 모델 선택 방법을 개발하기 위해.
• 평균 차수가 log(n) 이상의 속도로 증가하는 최소한의 조건 하에서 추정기의 이론적 일관성을 확립하기 위해.
• DCSBM 환경에서 반복적 또는 랜덤화된 방법(예: 교차검증)에 대한 계산적으로 실현 가능하고 이론적으로 타당한 대안을 제공하기 위해.
• 모델 선택을 위한 과적합 및 과소적합 조건 하에서 가짜 우도 비율 통계량의 점근적 분포를 유도하기 위해.

제안 방법

• 스펙트럴 클러스터링을 기반으로 한 가짜 우도 비율 통계량을 제안하여 다양한 커뮤니티 수에 대한 모형 적합도를 평가한다.
• 이상적인 상한값에서 시작하여 후보 커뮤니티 수를 반복적으로 테스트하는 이진 분할 절차를 도입한다.
• 각 후보 K에 대해 커뮤니티 소속과 잠재 변수(예: 커뮤니티 평균 및 차수)를 스펙트럴 클러스터링을 통해 추정한다.
• 모형이 과적합되었을 경우 가짜 우도 비율 통계량의 상한을 확립하여 선택 과정의 안정성을 보장한다.
• 과소적합 조건 하에서 가짜 우도 비율의 점근적 분포를 유도하여 점근적 추론이 가능하게 한다.
• 정규화 기법과 스펙트럴 임bedding에 대한 K-평균 클러스터링을 적용하여 커뮤니티 할당 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 조건 하에서 도수 보정 스토케스틱 블록 모형(DCSBM)에서 커뮤니티 수를 일관되게 추정하기 위해 가짜 우도 비율 통계량을 사용할 수 있는가?
• RQ2 스펙트럴 클러스터링과 이진 분할법을 어떻게 조합하여 커뮤니티 탐지 모델 선택에서 이론적 일관성을 확보할 수 있는가?
• RQ3 모형이 과소적합되었을 경우 가짜 우도 비율 통계량의 점근적 분포는 무엇인가?
• RQ4 추정기의 일관성을 보장하기 위해 평균 차수에 대해 필요한 최소 조건은 무엇인가?
• RQ5 교차검증이나 고유값 기반 방법과 비교할 때, 제안된 방법은 이론적 근거와 계산적 안정성 측면에서 어떻게 다른가?

주요 결과

• 평균 차수가 log(n) 이상의 속도로 증가하는 조건 하에서, 제안된 추정기는 진짜 커뮤니티 수에 대해 일관성을 보인다.
• 모형이 과적합되었을 경우 가짜 우도 비율 통계량은 상한이 존재하여, 방법이 K를 과대추정하지 않도록 보장한다.
• 과소적합 상황에서 가짜 우도 비율 통계량의 점근적 분포가 도출되었으며, 이는 점근적 추론을 가능하게 한다.
• 커뮤니티 수가 알려져 있지 않고 데이터로부터 선택되어야 할 경우에도, 이 방법은 일관된 커뮤니티 탐지 성능을 달성한다.
• 시뮬레이션 연구 결과, 반밀도 네트워크에서 안정적이고 정확한 K 추정 성능을 보였다.
• 보조 자료에 포함된 엄밀한 증명들(클러스터링 오차 및 파rameter 추정에 관한 기술적 보조정리 포함)을 통해 이론적 결과가 뒷받침된다.