[논문 리뷰] Testing Degree Corrections in Stochastic Block Models

Rajarshi Mukherjee, Subhabrata Sen|arXiv (Cornell University)|2017. 05. 22.

Complex Network Analysis Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 이질적인 도수 분포를 가진 네트워크에서 커뮤니티 탐지 성능을 향상시키기 위해 도수 보정된 스토하스틱 블록 모델(DCSBM)을 제안한다. 저자들은 임계 임계값 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 를 유도함으로써, 노드의 도수가 크게 다를 경우에도 커뮤니티 구조에 대한 가설 검정이 통계적으로 일관되게 유지되는 조건을 확립한다. 주요 기여는 도수 이질성 하에서도 신뢰할 수 있는 커뮤니티 탐지가 보장되는 이론적 근거를 제공하는 것이다.

ABSTRACT

We study sharp detection thresholds for degree corrections in Stochastic Block Models in the context of a goodness of fit problem, and explore the effect of the unknown community assignment (a high dimensional nuisance parameter) and the graph density on testing for degree corrections. When degree corrections are relatively dense, a simple test based on the total number of edges is asymptotically optimal. For sparse degree corrections, the results undergo several changes in behavior depending on density of the underlying Stochastic Block Model. For graphs which are not extremely sparse, optimal tests are based on Higher Criticism or Maximum Degree type tests based on a linear combination of within and across (estimated) community degrees. In the special case of balanced communities, a simple degree based Higher Criticism Test (Mukherjee, Mukherjee, Sen 2016) is optimal in case the graph is not completely dense, while the more complicated linear combination based procedure is required in the completely dense setting. The ``necessity" of the two step procedure is demonstrated for the case of balanced communities by the failure of the ordinary Maximum Degree Test in achieving sharp constants. Finally for extremely sparse graphs the optimal rates change, and a version of the maximum degree test with a different rejection region is shown to be optimal.

연구 동기 및 목표

• 이질적인 도수 분포를 가진 네트워크에서 커뮤니티 탐지 문제를 해결하기 위해.
• 스토하스틱 블록 모델에서 도수 이질성을 고려한 통계적 프레임워크를 개발하기 위해.
• 일관된 커뮤니티 탐지를 보장하는 이론적 임계값 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 를 유도하기 위해.
• 다양한 도수 패tern과 네트워크 희박성 하에서 커뮤니티 탐지의 강건성을 검증하기 위해.

제안 방법

• 저자들은 도수 보정 하에서 커뮤니티 구조를 평가하기 위해 가설 검정 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ 를 정의한다.
• 탐지 가능과 탐지 불가능한 커뮤니티 구조를 분리하는 임계값 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 를 유도한다.
• 이 임계값은 조각별로 정의된다: $ \alpha \in (1/2, 3/4) $ 에서는 $ \alpha - 1/2 $ 에 대해 선형적으로 의존하고, $ \alpha \geq 3/4 $ 에서는 $ (1 - \sqrt{1 - \alpha})^2 $ 에 의존한다.
• 모델은 커뮤니티별 간선 확률을 나타내는 파라미터 $ \beta_1, \beta_2 $ 와 네트워크 희박성을 나타내는 $ \alpha $ 를 포함한다.
• 오차 확률을 제어하기 위해 집합 $ S_k^\nu $ 와 $ \Xi(s_n, A_n) $ 에 대한 최대값을 사용한다.
• 도수 보정 모델 하에서 유형 I 및 유형 II 오류를 통제함으로써 검정의 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 노드의 도수가 매우 이질적일 경우, 어떤 조건에서 커뮤니티 탐지가 여전히 일관되게 유지되는가?
• RQ2 임계값 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 는 네트워크 희박성 $ \alpha $ 와 커뮤니티 파라미터 $ \beta_1, \beta_2 $ 에 따라 어떻게 변하는가?
• RQ3 높은 도수 이질성 하에서 도수 보정이 거짓 양성 결과를 방지할 수 있는가?
• RQ4 도수 보정된 스토하스틱 블록 모델에서 탐지 가능성의 이론적 한계는 무엇인가?
• RQ5 제안된 검정 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ 는 표준 블록 모델 대비 오차 통제 측면에서 어떻게 비교되는가?

주요 결과

• 임계값 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 는 도수 보정 모델에서 탐지 가능과 탐지 불가능한 커뮤니티 구조의 경계를 결정한다.
• $ \alpha \in (1/2, 3/4) $ 에서는 임계값이 $ \alpha - 1/2 $ 에 대해 선형적으로 스케일링되며, 이는 이 영역에서 희박성에 대한 선형 민감도를 나타낸다.
• $ \alpha \geq 3/4 $ 에서는 비선형 형태 $ (1 - \sqrt{1 - \alpha})^2 $ 를 따르며, 네트워크가 더욱 빽빽해질수록 탐지 가능성의 감소 추세를 반영한다.
• 제안된 검정 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ 는 $ C > C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 일 때 일관성을 확보하여 신뢰할 수 있는 탐지를 보장한다.
• 이 방법은 $ \Theta \in \Xi(s_n, A_n) $ 전역에서 유형 I 및 유형 II 오류 확률을 균일하게 통제하여 강건성을 보장한다.
• 이론적 프레임워크는 도수 보정이 노드 도수가 평균에서 크게 벗어나도 일관된 커뮤니티 탐지가 가능하게 한다고 규명한다.