[논문 리뷰] Bayesian Model Selection of Stochastic Block Models

Xiaoran Yan|ArXiv.org|2016. 05. 23.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

이 논문은 스토하스틱 블록 모델(SBM)과 디그리-수정 블록 모델(DC-SBM)을 위한 베이지안 모델 선택 프레임워크를 제안하며, 블록 수가 다른 모델 간의 체계적인 비교를 가능하게 한다. 베이지안 정보 기준(BIC)을 유도하고 이를 최소 기술 길이(MDL) 원리와 연결함으로써, 데이터가 복잡성 증가를 정당화하지 못할 경우 더 단순한 모델을 선호하는 보편적인 프레임워크를 제공한다. 합성 네트워크와 실제 네트워크에서의 실험적 검증을 통해 뛰어난 모델 선택 정확도를 입증하였다.

ABSTRACT

A central problem in analyzing networks is partitioning them into modules or communities. One of the best tools for this is the stochastic block model, which clusters vertices into blocks with statistically homogeneous pattern of links. Despite its flexibility and popularity, there has been a lack of principled statistical model selection criteria for the stochastic block model. Here we propose a Bayesian framework for choosing the number of blocks as well as comparing it to the more elaborate degree- corrected block models, ultimately leading to a universal model selection framework capable of comparing multiple modeling combinations. We will also investigate its connection to the minimum description length principle.

연구 동기 및 목표

• 스토하스틱 블록 모델(SBM) 및 그 변형에 대한 체계적인 통계적 모델 선택 기준의 부족 문제를 해결하기 위해.
• 다양한 블록 수 간의 SBM과 DC-SBM 간 공정한 비교를 가능하게 하는 베이지안 프레임워크를 개발하기 위해.
• 다양한 모델 순서 조합 간 비교가 가능한 보편적인 모델 선택 방법을 확립하기 위해.
• 베이지안 접근법을 최소 기술 길이(MDL) 원리와 연결하여 정보 이론적 모델 선택과의 이론적 일관성을 확보하기 위해.
• 합성 네트워크와 실제 네트워크(카라테 클럽 및 정치 블로그 데이터셋 포함)에서 프레임워크를 실증적으로 검증하기 위해.

제안 방법

• 잠재 매개변수를 통합하고 라플라스 방법을 사용하여 근사한 주변 가능도를 기반으로 순수한 SBM에 대한 베이지안 정보 기준(BIC)을 유도한다.
• 디그리-수정 SBM(DC-SBM)로 BIC를 일반화하여 도메인 이질성에 대한 추가 매개변수를 통합한다.
• 베이지안 SBM의 기대 차이를 기반으로 DC-SBM의 로그 가능도를 정규화하여 다양한 모델 간 직접 비교를 가능하게 한다.
• 유도된 BIC와 MDL 원리 사이의 등가성을 확립하여 정보 이론적 모델 선택과의 이론적 일관성을 보장한다.
• 실제 네트워크의 로그 가능도를 추정하기 위해 몬테카를로 샘플링을 사용하여 다양한 블록 수에서의 모델 성능을 실증적으로 평가한다.
• 다양한 블록 수에서 SBM과 DC-SBM를 비교하고, 가장 높은 정규화된 사후(로그-ICL)를 가진 모델을 선택하는 데 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다양한 블록 수를 가진 스토하스틱 블록 모델에 대해 체계적인 베이지안 모델 선택 프레임워크를 어떻게 개발할 수 있는가?
• RQ2 주변 가능도 기반의 베이지안 접근법이 SBM 및 DC-SBM의 모델 및 순서 선택에서 빈도주의 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 네트워크 모델의 맥락에서, 베이지안 BIC가 최소 기술 길이(MDL) 원리와 등가성이 입증될 수 있는가?
• RQ4 DC-SBM에 도메인 보정을 포함할 경우 모델 선택에 어떤 영향을 미치며, 언제 순수한 SBM보다 이를 선호해야 하는가?
• RQ5 카라테 클럽 및 정치 블로그와 같은 실제 네트워크의 최적의 블록 수는 제안된 프레임워크에 따르면 얼마인가?

주요 결과

• 제안된 베이지안 프레임워크는 5개의 블록과 이중 모드 도메인 분포를 가진 합성 데이터에서, 순수한 SBM(10개 블록)을 최적의 모델로 성공적으로 식별하였다.
• 카라테 클럽 네트워크에서는, 도메인 이질성이 부족하여 DC-SBM조차도 k=2일 때보다 k=4 블록의 순수한 SBM이 최적으로 선정되었으며, 이는 더 나은 성능을 보였다.
• 정치 블로그 네트워크에서는 강한 도메인 이질성과 조화형 구조로 인해, 모든 k 값에서 k=2인 DC-SBM이 순수한 SBM보다 선호되었다.
• 프레임워크의 정규화 절차 덕분에, 다양한 k 값에서 SBM과 DC-SBM 간의 직접 비교가 가능해져 모델 선택의 모호성을 해소하였다.
• DC-SBM에 대한 유도된 BIC는 네트워크 크기에 따라 증가하는 추가 페널티 항을 포함하여, 도메인 보정을 사용할 경우 더 적은 블록 수를 선호한다.
• 실증 결과는 베이지안 접근법이 정치 블로그 네트워크와 같은 경우에서 빈도주의 가능도 비율 검정과 일치함을 확인하였으며, 더 포괄적이고 체계적인 모델 비교를 가능하게 한다.