[논문 리뷰] How Many Communities Are There?

Diego Franco Saldana, Yi Yu외 1명|arXiv (Cornell University)|2014. 12. 04.

Complex Network Analysis Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 현실 세계의 네트워크에서 조건부 독립 가정이 위반될 경우 발생하는 모형 부적합 문제를 다루기 위해 스토하스틱 블록모형에서 커뮤니티 수를 선택하기 위한 복합우도 BIC(클-비크) 방법을 제안한다. 시뮬레이션 및 실데이터에서 기존 BIC와 변분베이즈 기준보다 우수한 일致성과 강건성을 보이며, 특히 상관관계가 있는 네트워크 데이터에서 진정한 커뮤니티 구조를 탐지하는 데에 유리하다.

ABSTRACT

Stochastic blockmodels and variants thereof are among the most widely used approaches to community detection for social networks and relational data. A stochastic blockmodel partitions the nodes of a network into disjoint sets, called communities. The approach is inherently related to clustering with mixture models; and raises a similar model selection problem for the number of communities. The Bayesian information criterion (BIC) is a popular solution, however, for stochastic blockmodels, the conditional independence assumption given the communities of the endpoints among different edges is usually violated in practice. In this regard, we propose composite likelihood BIC (CL-BIC) to select the number of communities, and we show it is robust against possible misspecifications in the underlying stochastic blockmodel assumptions. We derive the requisite methodology and illustrate the approach using both simulated and real data. Supplementary materials containing the relevant computer code are available online.

연구 동기 및 목표

• 스토하스틱 블록모형의 조건부 독립 가정이 현실 네트워크에서 자주 위반되는 커뮤니티 탐지의 모형 선택 문제를 해결하기 위해.
• 특히 상관관계가 있는 간선 의존성 하에서 모형 부적합성에 대처할 수 있는 강건한 커뮤니티 수 선택 방법을 개발하기 위해.
• 기존 BIC와 변분베이즈 기준을 개선하기 위해 복합우도 원리를 통합하여 네트워크 데이터의 의존 구조를 더 잘 다룰 수 있도록 하기 위해.
• 제안된 CL-BIC 방법의 성능을 시뮬레이션 네트워크와 실세계 데이터셋(AddHealth의 학교 친구 관계 네트워크 포함)에서 평가하기 위해.
• 특히 조밀하고 상관관계가 있는 네트워크 환경에서 표준 BIC에 비해 커뮤니티 수를 과대평가하는 문제를 줄이기 위해 CL-BIC가 효과적인지 확인하기 위해.

제안 방법

• CL-BIC 방법은 전체 우도 대신 복합우도를 사용함으로써 베이지안 정보기준(BIC)을 확장하여, 커뮤니티 할당 조건 하에서 간선 간의 조건부 독립 가정을 완화한다.
• 이 방법은 쌍별 간선 의존성 기반의 복합우도를 구성하여, 차수 보정 스토하스틱 블록모형(DCBM) 하에서 상관관계가 있는 네트워크 데이터를 더 현실적으로 모델링할 수 있도록 한다.
• 스펙트럴 클러스터링과 SCORE 알고리즘을 사용해 초기 커뮤니티 할당을 수행한 후, CL-BIC를 적용하여 최적의 커뮤니티 수 $ K $ 를 선택한다.
• CL-BIC 점수는 복합우도의 로그와 파rameter 수에 비례하는 페널티 항으로 구성되며, 모형 적합도와 복잡도 사이의 균형을 맞춘다.
• 모의 실험과 실데이터 분석을 통해 CL-BIC가 기존 BIC와 변분베이즈 기준과 비교하여 검증된다.
• 다양한 $ K $ 에서 커뮤니티 할당의 질을 평가하기 위해 적합도 검사와 오분류율 측정치를 사용한다.

실험 결과

연구 질문

• RQ1 스토하스틱 블록모형의 조건부 독립 가정이 간선 상관관계로 인해 위반될 경우, CL-BIC는 진정한 커뮤니티 수를 일관되게 선택할 수 있는가?
• RQ2 상관관계가 있는 네트워크 데이터에서 CL-BIC는 기존 BIC와 변분베이즈 기준에 비해 모형 선택 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ3 복잡한 의존 구조를 가진 실세계 네트워크에서 CL-BIC는 표준 BIC에 비해 커뮤니티 수 과대평가 문제를 줄일 수 있는가?
• RQ4 특히 조밀한 네트워크에서, CL-BIC는 차수 보정 스토하스틱 블록모형의 모형 부적합성에 대해 강건한가?
• RQ5 표준 BIC가 실패할 경우, CL-BIC는 학교 친구 관계 네트워크에서 알려진 학년 기반 커뮤니티와 같은 진정한 커뮤니티 구조를 효과적으로 복원할 수 있는가?

주요 결과

• CL-BIC는 학교 친구 관계 네트워크에서 $ K = 6 $ 개의 커뮤니티를 정확히 선택하여 진정한 학년 기반 구조와 일치시켰다. 반면 기존 BIC는 $ K = 9 $ 를 선택하여 커뮤니티 수를 과대평가했다.
• CL-BIC는 진정한 커뮤니티 구조에 대한 적합도 점수 $ GF(oldsymbol{z},oldsymbol{ ilde{z}}_6) = 0.811 $ 을 기록하여 BIC의 $ 0.810 $ 과 약간 뛰어나, 더 우수한 적합도를 보였다.
• CL-BIC의 오분류율(MR)은 $ 40.8 $ 으로, BIC의 $ 33.3 $ 과 비교해 더 높은 일관성과 낮은 분할 정도를 보이며, 커뮤니티 할당이 더 단단하고 덜 분산되어 있음을 시사한다.
• CL-BIC는 실데이터에서 흔한 BIC의 결함인 7학년과 8학년 학생들을 여러 개의 노이즈 커뮤니티로 나누는 것을 방지했다.
• CL-BIC가 식별한 블랙 커뮤니티는 12학년 여자 및 히스패닉 남학생의 하위 집단으로, BIC에서는 포착되지 않은 의미 있는 사회적 하위 구조를 반영하고 있었다.
• 수치적 결과는 CL-BIC가 모형 부적합성으로 인한 분산 손실을 완화하고 상관관계가 있는 이진 데이터를 다룰 때 기존 BIC보다 더 강건하다는 것을 시사한다.