[논문 리뷰] Adjusted chi-square test for degree-corrected block models

Linfan Zhang, Arash A. Amini|arXiv (Cornell University)|2020. 12. 30.

Complex Network Analysis Techniques참고 문헌 64인용 수 4

한 줄 요약

이 논문은 밀도 보정된 스토하스틱 블록 모형(DCSBM)에 대한 적합도 검정을 위한 조정된卡-제곱 검정을 제안한다. 이는 도수 조건 하에서 압축된 인접행렬을 활용하여 대규모 희박한 네트워크에서도 확장 가능성을 확보한다. 검정은 노드의 조화 평균 도수의 증가에 따라 점차적으로 타당한 점근적 성질을 유지하며, 잠재변수 모형을 포함한 다양한 대안에 대해 높은 검정력을 보이며, 순차적 검정을 통해 일관된 커뮤니티 탐지가 가능하다. 실제 네트워크, 예를 들어 Facebook-100에서의 검증 결과, 소규모 커뮤니티 DCSBM에 대한 적합도가 광범위하게 부족함을 확인할 수 있었다.

ABSTRACT

We propose a goodness-of-fit test for degree-corrected stochastic block models (DCSBM). The test is based on an adjusted chi-square statistic for measuring equality of means among groups of $n$ multinomial distributions with $d_1,\dots,d_n$ observations. In the context of network models, the number of multinomials, $n$, grows much faster than the number of observations, $d_i$, corresponding to the degree of node $i$, hence the setting deviates from classical asymptotics. We show that a simple adjustment allows the statistic to converge in distribution, under null, as long as the harmonic mean of $\{d_i\}$ grows to infinity. When applied sequentially, the test can also be used to determine the number of communities. The test operates on a compressed version of the adjacency matrix, conditional on the degrees, and as a result is highly scalable to large sparse networks. We incorporate a novel idea of compressing the rows based on a $(K+1)$-community assignment when testing for $K$ communities. This approach increases the power in sequential applications without sacrificing computational efficiency, and we prove its consistency in recovering the number of communities. Since the test statistic does not rely on a specific alternative, its utility goes beyond sequential testing and can be used to simultaneously test against a wide range of alternatives outside the DCSBM family. In particular, we prove that the test is consistent against a general family of latent-variable network models with community structure.

연구 동기 및 목표

• 노드의 도수가 크게 변동하는 비i.i.d. 설정에서도 타당한 적합도 검정을 유지할 수 있는 도수 보정 스토하스틱 블록 모형(DCSBM)에 대한 적합도 검정을 개발하는 것.
• 노드 수가 개별 노드의 도수보다 빠르게 증가하는 대규모 희박한 네트워크에서 기존 점근적 이론이 실패하는 상황에서 DCSBM 적합도를 검정하는 데 도전하는 것.
• 최적의 커뮤니티 수를 결정하기 위해 검정을 순차적으로 적용함으로써 일관된 커뮤니티 탐지를 가능하게 하는 것.
• DCSBM 가족 외의 다양한 대안, 특히 잠재변수 네트워크 모형에 대해 강건하고 높은 검정력을 갖춘 검정을 만드는 것.
• 실제 네트워크에서 DCSBM가 좋은 적합도를 보이지 않을 수 있는 상황를 고려해 탐색적 네트워크 분석을 위한 확장 가능하고 계산 효율적인 도구를 제공하는 것.

제안 방법

• 검정은 다항분포 평균을 그룹 간 비교하기 위해 조정된 카-제곱 통계량을 사용한다. 여기서 각 그룹은 노드의 도수 조건 하에서의 간선 분포에 해당한다.
• 검정은 K개 커뮤니티를 검정할 때 (K+1)-커뮤니티 할당 기반으로 행을 군집화한 압축된 인접행렬을 사용하여, 효율성을 희생시키지 않은 채 검정력을 향상시킨다.
• 카-제곱 통계량의 조정은 노드 도수의 조화 평균이 무한으로 향할 동안 귀무가설 하에서 수렴하는 분포를 보장함으로써 점근적 타당성을 확보한다.
• 관측된 도수를 조건으로 삼아 희박한 네트워크에 적합하며, 네트워크의 도수 이질성을 유지한다.
• 검정은 순차적으로 적용되어, K개 커뮤니티 DCSBM의 귀무가설이 기각되지 않는 최소의 K를 식별함으로써 커뮤니티 수를 결정한다.
• 다항분포 프레임워크를 적절한 지수족 분포로 일반화함으로써, 이 검정은 포isson 카운트 배열, 이분할 및 방향성 네트워크로 확장된다.

실험 결과

연구 질문

• RQ1 노드 수가 개별 노드의 도수보다 빠르게 증가할 때, DCSBM에 대한 적합도 검정이 여전히 타당한가?
• RQ2 노드 도수가 이질적이고 희박한 상황에서, 제안된 조정된 카-제곱 검정이 귀무가설 하에서 점근적으로 타당한가?
• RQ3 모형이 잘못 지정되어 있어도, 이 검정을 통해 진짜 커뮤니티 수를 일관되게 복구할 수 있는가?
• RQ4 잠재변수 모형과 같은 DCSBM 가족 외의 대안에 대해 이 검정은 얼마나 강력한가?
• RQ5 DCSBM가 일반적으로 가정되지만 실제 적합도가 떨어질 수 있는 실제 네트워크에 대해 이 검정을 효과적으로 적용할 수 있는가?

주요 결과

• 노드 도수의 조화 평균이 무한으로 향할 동안, 조정된 카-제곱 검정은 귀무가설 하에서 수렴하는 분포를 보이며, 이는 희박한 설정에서 점근적 타당성을 보장한다.
• 검정은 잠재변수 네트워크 모형과 같은 광범위한 대안 클래스에 대해 매우 높은 검정력을 보이며, 편향의 방향을 특정하지 않아도 된다.
• Facebook-100 데이터셋에서 25개 이하의 커뮤니티를 가진 DCSBM는 거의 모든 네트워크에서 강하게 기각되었으며, 이는 소규모 커뮤니티 DCSBM에 대한 광범위한 적합도 부족을 시사한다.
• 검정의 통계량 자체가 강력한 탐색적 도구가 되며, 커뮤니티 프로파일 플롯은 단일 또는 다중 에블, 구조적 패턴을 드러내어 커뮤니티 구조를 시각화하는 데 기여한다.
• 검정을 순차적으로 적용하면 커뮤니티 수를 일관되게 복구할 수 있으며, 표본 크기가 클 경우 FNAC+와 AS 검정은 DCSBM와 DCLVM 대안을 거의 완벽한 정확도로 구분한다.
• 진짜 모형이 귀무가설과 동일한 커뮤니티 수를 가질 때조차도(예: K=4), 검정은 모형 오지정을 탐지할 수 있음을 보여, 단지 커뮤니티 수의 차이를 넘어서 모형 오류를 감지할 수 있음을 시사한다.