[논문 리뷰] Consistency of maximum-likelihood and variational estimators in the Stochastic Block Model

Alain Célisse, Jean‐Jacques Daudin외 1명|arXiv (Cornell University)|2011. 05. 17.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 140

한 줄 요약

이 논문은 이진 방향성 무작위 그래프에 대한 스토하스틱 블록 모델(SBM)에서 최대우도 추정기와 변분 추정기에 대한 최초의 일致성 결과를 확립한다. 농도 부등식과 식별 가능성 증명을 통해, 두 추정기는 엣지 확률 π를 일치하게 추정하며, 추가적인 가정 하에 그룹 비율 α도 일치하게 추정함을 보여준다.

ABSTRACT

The stochastic block model (SBM) is a probabilistic model de- signed to describe heterogeneous directed and undirected graphs. In this paper, we address the asymptotic inference on SBM by use of maximum- likelihood and variational approaches. The identi ability of SBM is proved, while asymptotic properties of maximum-likelihood and variational esti- mators are provided. In particular, the consistency of these estimators is settled, which is, to the best of our knowledge, the rst result of this type for variational estimators with random graphs.

연구 동기 및 목표

• 이진 방향성 그래프에 대한 스토하스틱 블록 모델(SBM)에서 최대우도 추정기와 변분 추정기의 이론적 일치성 확립.
• 약한 가정 하에서도 SBM의 식별 가능성 증명 — 특히 방향성 그래프에 있어서는 비틀림이 있는 비잔영 결과.
• 변분 추론에 대한 이론적 간극을 메우기 위해 점근적 성질과 농도 경계를 유도함.
• 변분 추정기가 SBM에서 최대우도 추정기와 점근적으로 동치임을 보임.

제안 방법

• 대수적 및 확률적 추론을 사용하여 약한 정규성 조건 하에서 SBM의 식별성 증명.
• 농도 부등식을 적용하여 우도와 변분 하한이 기대값에서 벗어나지 않도록 제어.
• 변분 하한(로그우도에 쥰센의 부등식을 적용한 것)을 사용하여 주변 우도의 다루기 쉬운 근사값 도출.
• 완전우도, 변분 하한, 주변 우도 사이의 부등식 사슬을 설정하여 추정 오차를 경계.
• 변분 추정기와 최대우도 추정기 사이의 관계를 항 ∑ᵢ log αẑᵢ 를 통해 활용하여 점근적 동치성 입증.
• 변분 분포와 진짜 사후분포 사이의 쿨백-라이블러 발산을 사용하여 우도 갭의 관점에서 추정 오차 경계.

실험 결과

연구 질문

• RQ1 약한 가정 하에서도 스토하스틱 블록 모델은 식별 가능한가, 특히 방향성 그래프에 대해서는?
• RQ2 최대우도 추정기는 SBM에서 엣지 확률 행렬 π 추정에 대해 일치하는가?
• RQ3 변분 추정기는 SBM에서 π 추정에 대해 일치하는가, 그리고 최대우도 추정기와 같은 극한으로 수렴하는가?
• RQ4 변분 접근법은 최대우도 추정기와 점근적으로 일치함을 보여줌으로써 SBM에서 이론적으로 정당화될 수 있는가?
• RQ5 큰 SBM 그래프에서 우도와 변분 목표 함수의 농도 성질은 무엇인가?

주요 결과

• 약한 정규성 조건 하에서도, 특히 방향성 그래프에 있어서도 스토하스틱 블록 모델은 식별 가능함 — 이는 비틀림이 있는 비잔영 결과.
• 최대우도 추정기는 SBM에서 그룹 간 엣지 확률 π 추정에 대해 일치함.
• 변분 추정기는 SBM에서 π 추정에 대해 일치함 — 이는 SBM에서 변분 추론에 대해 최초의 결과.
• 변분 추정기는 점근적으로 최대우도 추정기와 동치이며, 가정 (A3) 하에 추정 오차가 O(n log(1/γ))로 경계됨.
• 변분 하한과 주변 우도의 차이는 항 ∑ᵢ log αẑᵢ 를 통해 제어되며, 정규성 조건 하에 점점 소멸함.
• 농도 부등식을 사용하여 우도와 변분 목표 함수가 기대값 주위에 집중됨을 보여주어 일치성 증명 가능.