[논문 리뷰] Using Maximum Entry-Wise Deviation to Test the Goodness of Fit for Stochastic Block Models

Jianwei Hu, Jingfei Zhang외 3명|arXiv (Cornell University)|2017. 03. 20.

Complex Network Analysis Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 중심화되고 재스케일링된 인접행렬의 최대 엔트리별 편차를 사용하여 스토케스틱 블록 모델에 대한 적합도 검정을 제안한다. 귀무가설 하에서 이 검정은 渐近적으로 구름분포를 따르며, 커뮤니티 수 $k$가 $n$에 대해 선형적으로 증가할 수 있게 되어 이전의 제약 조건을 크게 완화하였고, 특정 대안 클래스에 대해 渐近적 검정력을 유지한다.

ABSTRACT

The stochastic block model is widely used for detecting community structures in network data. How to test the goodness-of-fit of the model is one of the fundamental problems and has gained growing interests in recent years. In this article, we propose a novel goodness-of-fit test based on the maximum entry of the centered and re-scaled adjacency matrix for the stochastic block model. One noticeable advantage of the proposed test is that the number of communities can be allowed to grow linearly with the number of nodes ignoring a logarithmic factor. We prove that the null distribution of the test statistic converges in distribution to a Gumbel distribution, and we show that both the number of communities and the membership vector can be tested via the proposed method. Further, we show that the proposed test has asymptotic power guarantee against a class of alternatives. We also demonstrate that the proposed method can be extended to the degree-corrected stochastic block model. Both simulation studies and real-world data examples indicate that the proposed method works well.

연구 동기 및 목표

• 스토케스틱 블록 모델에서 모형 적합도를 검정하는 데 있어, 커뮤니티 수가 네트워크 크기와 함께 증가할 때 발생하는 근본적 과제를 해결하기 위해.
• 이전의 제약 조건을 초월하여, 노드 수 $n$과 함께 커뮤니티 수 $k$가 증가하더라도 여전히 유효하고 강력한 검정을 개발하기 위해.
• 노드의 차수에 대한 이질성을 고려한 더 유연한 도수보정 스토케스틱 블록 모델로 방법을 확장하기 위해.
• 최소한의 가정 하에 검정의 渐近적 귀무분포와 검정력을 이론적으로 보장하기 위해.
• 모의 실험 또는 우도 기반 방법에 비해 계산적으로 효율적이면서도 이론적 배경을 갖춘 대안을 제공하기 위해.

제안 방법

• 중앙화되고 재스케일링된 인접행렬 $A_{ij} - B_{\sigma(i)\sigma(j)}$ 의 최대 절대 엔트리별 편차를 기반으로 검정 통계량을 정의한다.
• 귀무가설 하에서, $k = o(n / \log^2 n)$ 일 때 검정 통계량이 구름분포로 수렴함을 입증하며, 이는 $k$가 $n$에 대해 거의 선형적으로 증가할 수 있음을 보여준다.
• 동일한 渐近적 귀무분포를 유지하면서 검정력 향상을 위한 보완 검정 통계량을 제안한다.
• 극값 이론과 중간차이 경계를 활용하여 극한 분포를 유도하며, 의존성은 있지만 약한 의존성을 보이는 엔트리의 최대값을 활용한다.
• 추정된 차수 파ameter $\widehat{\omega}_i$ 를 통합하여 도수보정 스토케스틱 블록 모델로 프레임워크를 확장하나, 귀무분포의 渐近적 성질은 아직 미해결 문제이다.
• 특히 실제 데이터 응용을 위해 유한 표본에서 p-값을 계산하기 위해 부트스트래핑을 적용한다.

실험 결과

연구 질문

• RQ1 스토케스틱 블록 모델에 대한 적합도 검정을 개발할 수 있는가? 특히 커뮤니티 수가 노드 수와 함께 증가할 경우에도 유효한가?
• RQ2 스토케스틱 블록 모델 하에서 인접행렬의 최대 엔트리별 편차의 渐近적 귀무분포는 무엇인가?
• RQ3 제안된 검정은 국소 대안 클래스에 대해 渐近적 검정력을 유지하는가?
• RQ4 이 방법은 알려지지 않은 차수 파ameter를 갖는 더 민감한 도수보정 스토케스틱 블록 모델로 확장할 수 있는가?
• RQ5 기존의 몬테카를로 또는 우도비 검정과 비교해 실질적으로 이 검정은 어떻게 성능을 발휘하는가?

주요 결과

• 귀무가설 하에서, $k = o(n / \log^2 n)$ 일 때 최대 엔트리별 편차를 기반으로 한 검정 통계량이 구름분포로 수렴하며, 이는 $k$가 $n$에 대해 거의 선형적으로 증가할 수 있음을 보여준다.
• 제안된 검정은 국소 대안 클래스에 대해 渐近적 검정력을 갖추고 있어, 편차가 탐지 가능할 경우 모형의 부적합성을 탐지할 수 있음을 보장한다.
• 보완 검정 통계량은 귀무분포의 변화 없이도 실증적 검정력을 향상시킨다.
• 정치 블로그 네트워크에서, 표준 스토케스틱 블록 모델 하에서 $k=10$ 을 기각하였다 ($T^{+}_{n,\text{boot}} = 23.59 > 3.41$), 그러나 도수보정 모델 하에서는 $k=2$ 는 기각하지 않았다 ($T^{+}_{n2,\text{boot}} = 2.06 < 3.41$), 이는 이전 연구 결과와 일치한다.
• 특히 $k$가 $n$과 함께 증가하는 고차원 설정에서, 이론적 유연성 측면에서 기존 접근법을 능가한다.
• 추정된 차수 파ameter가 도입하는 복잡한 의존성으로 인해 도수보정 모델의 渐近적 귀무분포는 아직 알려져 있지 않으며, 이는 핵심적인 미해결 문제로 남아 있다.