[논문 리뷰] Optimal Bayesian estimation in stochastic block models

Debdeep Pati, Anirban Bhattacharya|arXiv (Cornell University)|2015. 05. 26.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 7

한 줄 요약

이 논문은 스위치드 블록 모델에서 표준 베이지안 사전분포—클러스터 할당에 대한 다항-디리클레 사전분포와 간선 확률에 대한 균일 사전분포—를 사용하여 기하학적 임bedding 기법을 개발함으로써 매개변수 공간의 저차원 구조를 활용하여 최적의 사후 수축 속도를 확립한다. 이로써 표준 사전분포가 최소최대 최적 수렴 속도를 달성함을 증명한다.

ABSTRACT

With the advent of structured data in the form of social networks, genetic circuits and protein interaction networks, statistical analysis of networks has gained popularity over recent years. Stochastic block model constitutes a classical cluster-exhibiting random graph model for networks. There is a substantial amount of literature devoted to proposing strategies for estimating and inferring parameters of the model, both from classical and Bayesian viewpoints. Unlike the classical counterpart, there is however a dearth of theoretical results on the accuracy of estimation in the Bayesian setting. In this article, we undertake a theoretical investigation of the posterior distribution of the parameters in a stochastic block model. In particular, we show that one obtains optimal rates of posterior convergence with routinely used multinomial-Dirichlet priors on cluster indicators and uniform priors on the probabilities of the random edge indicators. En route, we develop geometric embedding techniques to exploit the lower dimensional structure of the parameter space which may be of independent interest.

연구 동기 및 목표

• 스위치드 블록 모델—네트워크 랜덤 그래프 모델의 핵심 클래스—에서 사후분포의 점근적 행동을 이론적으로 조사하는 것.
• 스위치드 블록 모델에서 표준 사전분포가 널리 사용되고 있음에도 불구하고, 이러한 모델에 대한 베이지안 추정의 이론적 보장이 부족한 문제를 다루는 것.
• 일반적으로 사용되는 사전분포(다항-디리클레 및 균일)가 최소한의 가정 하에 최적의 사후 수축 속도를 제공함을 확립하는 것.
• 클러스터링에 의해 유도되는 매개변수 공간의 저차원 구조를 다루기 위해 기하학적 임bedding 기법을 개발하는 것.
• 고차원 베이지안 점근론에서의 격차를 메우기 위해 구조적 희박성과 커뮤니티 구조를 가진 네트워크 모델로 사후 수축 이론을 확장하는 것.

제안 방법

• 노드 클러스터 할당에 다항-디리클레 사전분포, 간선 확률 행렬에 균일 사전분포를 사용하는 계층적 베이지안 모델을 사용한다.
• 매개변수 공간을 저차원 다양체로 매핑하기 위해 기하학적 임bedding 기법을 적용하여 클러스터링 구조를 활용한다.
• 사후 질량이 진짜 매개변수 주변에 집중되도록 제어하기 위해 특이값 절단과 타원체 농도 집합을 활용한다.
• 우도 농도와 검정을 통해 진짜 매개변수를 이웃 영역과 비교함으로써 사후 수축 속도를 유도한다. 이 과정에서 체적과 확률의 경계를 사용한다.
• 타원체의 체적 공식과 타원체 내부에 포함된 직육면체의 임베딩을 사용하여 사후 확률의 하한 및 상한을 유도한다.
• 집중 불등식과 감마 함수 경계를 사용하여 다양한 클러스터 구성에 대해 사전 확률 비율을 제어한다.

실험 결과

연구 질문

• RQ1 스위치드 블록 모델에서 표준 베이지안 사전분포가 최소최대 최적 수축 속도를 달성할 수 있는가?
• RQ2 스위치드 블록 모델의 매개변수 공간에서 기하학적 구조가 사후 집중에 어떤 역할을 하는가?
• RQ3 왜 다항-디리클레 및 균일 사전분포가 네트워크 클러스터링 모델에서 이론적으로 정당화될 수 있는가?
• RQ4 진짜 클러스터 수를 알지 못하는 조건에서도 스위치드 블록 모델에서 사후 수축을 확립할 수 있는가?
• RQ5 최소최대 속도의 비모수적 및 클러스터링 성분이 사후 수축 행동에 어떻게 반영되는가?

주요 결과

• 표준 다항-디리클레 및 균일 사전분포 하에서 사후 분포는 최소최대 속도 $k^2/n^2 + \log k/n$ 로 수축한다.
• 기하학적 임bedding 기법이 매개변수 공간의 저차원 구조를 효과적으로 활용하여 사후 집중 경계를 도출하는 데 성공했다.
• 직육면체를 타원체 내부에 임베딩하여 사후 확률를 경계함으로써 사전 농도와 검정 논증이 실용 가능해졌다.
• 진짜 클러스터 수 $k$ 가 알려져 있을 때도 사후 수축 속도가 최적이며, Gao 등(2014)의 최소최대 하한과 일치한다.
• 분석 결과, 클러스터 할당에 대한 사전분포를 정교하게 조정할 필요가 없으며, 표준 선택만으로도 최적의 빈도주의 성능을 달성할 수 있음을 보여준다.
• 결과적으로 $k$ 에 대한 사전분포를 포함한 완전한 베이지안 접근법이 적응형 사후 수축을 달성할 수 있으며, 이는 근사에 의해 그래폰 추정으로 확장 가능하다.