[논문 리뷰] Non-Asymptotic Chernoff Lower Bound and Its Application to Community Detection in Stochastic Block Model

Zhixin Zhou, Ping Li|arXiv (Cornell University)|2018. 12. 29.

Complex Network Analysis Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 비점근적 샹프르-유사한 경계를 제안하며, 이 경계는 상수 인자 내에서 베이즈 오차 확률을 엄밀하게 상한과 하한으로 제한하여 커뮤니티 탐지에서 최소 최대 오차율을 정밀하게 특성화할 수 있게 한다. 이 방법은 스토하스틱 블록 모델에 적용되며, 우수한 초기화와 반복적인 EM 유사 갱신을 통해 최적의 오차율을 달성하는 새로운 알고리즘이 개발된다.

ABSTRACT

Chernoff coefficient is an upper bound of Bayes error probability in classification problem. In this paper, we will develop sharp Chernoff type bound on Bayes error probability. The new bound is not only an upper bound but also a lower bound of Bayes error probability up to a constant in a non-asymptotic setting. Moreover, we will apply this result to community detection in stochastic block model. As a clustering problem, the optimal error rate of community detection can be characterized by our Chernoff type bound. This can be formalized by deriving a minimax error rate over certain class of parameter space, then achieving such error rate by a feasible algorithm employ multiple steps of EM type updates.

연구 동기 및 목표

• 점근적 가정에 의존하지 않고, 상수 인자 내에서 상한과 하한으로 작용하는 비점근적 샹프르-형 경계를 유도하여, 베이즈 오차 확률의 분석에서 간극을 메운다.
• 기존의 최소 최대 오차율 분석이 느슨한 샹프르 경계로 인해 탄탄하지 못한 바, 이 경계를 스토하스틱 블록 모델(SBM)에서의 커뮤니티 탐지에 적용하여 최소 최대 오차율을 특성화한다.
• 좋은 초기화와 다중 EM 유사 국소 갱신을 조합하여 최소 최대 오차율을 달성하는 실용적인 알고리즘을 개발한다.
• 이전의 연구들처럼 최소 최대 오차율을 유도하지 못하거나, 느슨한 샹프르 근사로 인해 최적의 알고리즘 오차율을 달성하지 못하는 문제를 해결한다.

제안 방법

• 점근적 가정에 의존하지 않고, 상수 인자 내에서 베이즈 오차 확률을 상한과 하한으로 제한하는 비점근적 샹프르-형 경계를 유도한다.
• Chernoff 정보 $ D_{ar{ ho}}( ho_0\big\bracevert\rho_1) $ 의 정교한 분석을 도입하여, 이 값이 베이즈 오차와의 비율이 절대 상수로 유계임을 보인다.
• 대칭 스토하스틱 블록 모델(SBM)에 이 경계를 적용하며, 커뮤니티 탐지는 대칭 가설 검정 문제로 재정의된다.
• 이중 단계 알고리즘 설계: (1) 초기화를 위한 스펙트럴 클러스터링, (2) 커뮤니티 할당을 정밀화하기 위한 다중 EM 유사 국소 갱신.
• 농도 불확실성 불등식을 통해 실패 확률을 제어하면서, 여러 단계에서 우도 비율 테스트와 매개변수 추정을 수행한다.
• 새로운 오차 분해 기법을 도입하여, 오분류율을 $ O(\theta^*) $ 로 유계로 제한하며, 여기서 $ \theta^* $ 는 샹프르 정보와 네트워크 매개변수의 함수이다.

실험 결과

연구 질문

• RQ1 상수 인자 내에서 동시에 상한과 하한으로 작용하는 비점근적 샹프르-형 경계를 유도할 수 있는가? 이 경계는 베이즈 오차 확률에 대해 상하한으로 작용한다.
• RQ2 이러한 탄탄한 샹프르 경계는 스토하스틱 블록 모델에서 커뮤니티 탐지의 최소 최대 오차율을 어떻게 도출할 수 있는가?
• RQ3 좋은 초기화 후 빠른 국소 갱신을 통한 '좋은 초기화 + 빠른 국소 갱신(GI-FLU)' 프레임워크를 활용해 최소 최대 오차율을 달성하는 실용적 알고리즘을 설계할 수 있는가?
• RQ4 이전 알고리즘들은 최소 최대 오차율을 도출하지 못하는 이유는 무엇이며, 새로운 경계는 이를 어떻게 해결하는가?

주요 결과

• 논문은 샹프르 계수와 베이즈 오차 확률의 비율이 절대 상수로 유계임을 보여주는 비점근적 샹프르-형 경계를 확립한다.
• SBM에서의 커뮤니티 탐지에 대한 최소 최대 오차율은 $ \tilde{\theta}\big(\frac{1}{\text{poly}(n)} \big) $ 으로 특성화되며, 정확한 비율 $ \theta^* $ 는 샹프르 정보와 네트워크 차수에 따라 달라진다.
• 제안된 알고리즘은 $ O\big(\frac{\text{exp}(-D)}{\text{poly}(d)}\big) $ 의 알고리즘 오차율을 달성하며, 상수 인자 내에서 최소 최대 하한과 일치한다.
• $ D^* \to \text{large} $ 인 영역에서 기대 오분류율은 $ O\big(\frac{1}{n^{(1+r)\bigwedge(1+s)}}\big) $ 로 표현되며, 다항식적으로 감소한다.
• 분석 결과 $ \text{Pr}(\text{Mis}(\tilde{z}, z) \neq 0) = O(\theta^*) $ 라고 나타나며, 여기서 $ \theta^* $ 는 샹프르 발산과 네트워크 매개변수의 함수이다.
• 알고리즘의 실패 확률는 $ O\big(\frac{1}{n^{r \bigwedge s}}\big) $ 로 유계이며, 미약한 조건 하에서 0으로 수렴함을 보여준다.