[논문 리뷰] Optimal hypothesis testing for stochastic block models with growing degrees

Debapratim Banerjee, Zongming Ma|arXiv (Cornell University)|2017. 05. 15.

Random Matrices and Applications참고 문헌 48인용 수 34

한 줄 요약

이 논문은 평균 차수의 증가함을 고려하여 스토케스틱 블록 모델(SBMs)에 대한 최적의 가설 검정을 개발한다. 체비셰프 다항식의 선형 스펙트럼 통계를 활용하여 연속 영역에서 최적의 점근적 검정력을 달성하는 검정 통계량을 구성한다. 스펙트럼 통계에 대한 중심극한정리들을 수립하고, 계산적으로 효율적이며 데이터 기반의 검정을 제안하여 다중 블록 SBMs에서도 높은 검정력을 유지한다.

ABSTRACT

The present paper considers testing an Erdos--Renyi random graph model against a stochastic block model in the asymptotic regime where the average degree of the graph grows with the graph size n. Our primary interest lies in those cases in which the signal-to-noise ratio is at a constant level. Focusing on symmetric two block alternatives, we first derive joint central limit theorems for linear spectral statistics of power functions for properly rescaled graph adjacency matrices under both the null and local alternative hypotheses. The powers in the linear spectral statistics are allowed to grow to infinity together with the graph size. In addition, we show that linear spectral statistics of Chebyshev polynomials are closely connected to signed cycles of growing lengths that determine the asymptotic likelihood ratio test for the hypothesis testing problem of interest. This enables us to construct a sequence of test statistics that achieves the exact optimal asymptotic power within $O(n^3 \log n)$ time complexity in the contiguous regime when $n^2 p_{n,av}^3 o\infty$ where $p_{n,av}$ is the average connection probability. We further propose a class of adaptive tests that are computationally tractable and completely data-driven. They achieve nontrivial powers in the contiguous regime and consistency in the singular regime whenever $n p_{n,av} o\infty$. These tests remain powerful when the alternative becomes a more general stochastic block model with more than two blocks.

연구 동기 및 목표

• 네트워크 크기와 함께 평균 차수가 증가하는 상황에서 에르되시-레니 반무작위 그래프 모델을 대비로 대칭적인 두 블록 스토케스틱 블록 모델을 검정하는 기본 문제를 다루기.
• 귀무가설과 국소 대립가설 하에서 거듭제곱 함수 및 체비셰프 다항식의 선형 스펙트럼 통계에 대한 공동 중심극한정리를 도출하기.
• n²pₙ,av³ → ∞ 인 연속 점근적 영역에서 정확한 최적 점근적 검정력을 달성하는 검정 통계량을 구성하기.
• 모델의 모수에 대한 사전 지식이 필요 없고 완전히 데이터 기반인 적응형 검정을 제안하며, 이는 연속 영역에서 비자명한 검정력을 확보하고 특별한 영역에서 일致성을 확보한다.
• 다중 블록 스토케스틱 블록 모델로의 프레임워크 확장을 통해 검정력과 계산 가능성을 유지하기.

제안 방법

• 적절히 스케일링된 인접행렬에 거듭제곱 함수를 적용한 선형 스펙트럼 통계에 대한 공동 중심극한정리를 귀무가설과 국소 대안가설 하에서 유도한다.
• 체비셰프 다항식의 선형 스펙트럼 통계와 길이가 증가하는 부호가 있는 사이클 사이의 연결 고리를 확립하며, 이는 점근적 우도비율 검정의 핵심 요소이다.
• 체비셰프 다항식의 스펙트럼 통계 기반 검정 통계량을 구성하여 O(n³log n) 시간 복잡도 내에서 최적의 점근적 검정력을 달성한다.
• 모델의 모수에 대한 사전 지식이 필요 없는 적응형 검정 클래스를 제안한다.
• 체비셰프 다항식의 수직성과 [-2,2]에서의 스펙트럼 측도와의 관계를 이용해 점근적 분석에 핵심적인 항등식을 도출한다.
• 모멘트의 방법과 트레이스 전개를 적용하여 귀무모형과 대안모형 하에서 스펙트럼 통계의 점근적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 평균 차수가 n과 함께 증가할 때, 에르되시-레니 무작위 그래프 모델을 대비로 대칭적인 두 블록 스토케스틱 블록 모델을 검정할 경우 최적의 점근적 검정력은 무엇인가요?
• RQ2 귀무가설과 국소 대안가설 하에서 거듭제곱 함수 및 체비셰프 다항식의 선형 스펙트럼 통계는 점근적으로 어떻게 행동합니까?
• RQ3 체비셰프 다항식의 스펙트럼 통계에 기반한 검정은 연속 영역에서 정확한 최적 점근적 검정력을 달성할 수 있나요?
• RQ4 이러한 최적 검정을 구성하는 데 필요한 계산 복잡도는 무엇이며, 이를 효율적이고 데이터 기반으로 만들 수 있나요?
• RQ5 제안된 프레임워크는 두 개 이상의 블록을 가진 스토케스틱 블록 모델로 어떻게 일반화될 수 있나요?

주요 결과

• 논문은 귀무가설과 국소 대안가설 하에서 거듭제곱 함수 및 체비셰프 다항식의 선형 스펙트럼 통계에 대한 공동 중심극한정리를 수립한다.
• 체비셰프 다항식의 선형 스펙트럼 통계가 점근적으로 길이가 증가하는 부호가 있는 사이클과 동치임을 보이며, 이는 우도비율 검정의 핵심 요소이다.
• 체비셰프 다항식의 스펙트럼 통계 기반 검정 통계량은 n²pₙ,av³ → ∞ 인 연속 영역에서 정확한 최적 점근적 검정력을 달성하며, 시간 복잡도는 O(n³log n)이다.
• 계산적으로 실현 가능하고 완전히 데이터 기반인 적응형 검정이 제안되며, 이는 연속 영역에서 비자명한 검정력을 확보하고 npₙ,av → ∞ 일 때 특별한 영역에서 일치성을 확보한다.
• 프레임워크는 다중 블록 스토케스틱 블록 모델로 일반화되며, 블록 수가 두 개를 초과할 때조차도 검정력이 유지된다.
• 분석을 통해 κ ≥ 3 일 때 2(κ−1)/κ > 1 임을 확인하였으며, 이는 사이클 수의 지수적 증가를 뒷받침하고 검정력의 타당성을 뒷받침한다.