[논문 리뷰] A Tractable Fully Bayesian Method for the Stochastic Block Model

Kohei Hayashi, Takuya Konishi외 1명|arXiv (Cornell University)|2016. 02. 06.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 8

한 줄 요약

이 논문은 스 tochastic block model (SBM)에 대한 계산 가능하고 완전 베이지안 방법을 제안하며, 새로운 인수 분해 베이지안(FAB) 프레임워크를 사용해 클러스터 할당 추론과 클러스터 수(K)에 대한 모델 선택을 동시에 수행한다. 변분 근사와 라플라스 방법을 조합하고 보다 정교한 민감도 전파 규칙을 도입함으로써, 모델 후보에 대한 외부 루프가 필요 없이 일관되고 확장 가능하며 정확한 추론을 달성한다. 이는 단순하면서도 높은 성능을 보이는 모델을 일관되게 선택한다.

ABSTRACT

The stochastic block model (SBM) is a generative model revealing macroscopic structures in graphs. Bayesian methods are used for (i) cluster assignment inference and (ii) model selection for the number of clusters. In this paper, we study the behavior of Bayesian inference in the SBM in the large sample limit. Combining variational approximation and Laplace's method, a consistent criterion of the fully marginalized log-likelihood is established. Based on that, we derive a tractable algorithm that solves tasks (i) and (ii) concurrently, obviating the need for an outer loop to check all model candidates. Our empirical and theoretical results demonstrate that our method is scalable in computation, accurate in approximation, and concise in model selection.

연구 동기 및 목표

• 스 tochastic block model에 대한 완전 베이지안 방법을 개발하여 클러스터 할당 추론과 클러스터 수(K)에 대한 모델 선택을 동시에 수행한다.
• 기존의 완전 베이지안 방법이 모든 후보 K 값에 대해 마진널 리크리어티를 반복 계산해야 하는 점을 해결하여 계산 확장성 문제를 해결한다.
• 희박한 그래프에서 표준 FAB 근사가 모델 특이성으로 인해 실패하는 상황에서 모델 선택의 일관성을 향상시킨다.
• 모델 선택을 추론 과정에 직접 통합함으로써 K에 대한 외부 루프가 필요 없도록 한다.
• 예측 성능를 유지하면서도 작은 해석 가능한 K 값을 선택함으로써 정확도와 단순성의 균형을 이룬다.

제안 방법

• 완전 마진화된 로그우도를 점근 전개를 사용해 근사하기 위해 인수 분해 베이지안(FAB) 프레임워크를 활용한다.
• 변분 근사와 라플라스 방법을 조합하여 조밀한 그래프와 희박한 그래프 모두에서 일관된 모델 선택 기준을 도출한다.
• 완전 베이지안 추론을 위해 새로운 민감도 전파(BP) 규칙을 유도하며, 클러스터 할당 간 상관관계를 유지함으로써 평균장 근사보다 정확도를 향상시킨다.
• 목적 함수에 해석 가능한 정규화와 모델 단순성에 기여하는 정교한 페널티 항 R₂를 도입한다.
• 닫힌 형태의 EM 유사 교대 최적화를 사용하여 하이퍼파ram터 튜닝 없이도 효율적인 최적화를 가능하게 한다.
• 모델 선택은 추론 과정에 통합되어 있다: K_max에서 시작하여 알고리즘이 더 작은 최적의 K로 수렴함으로써 외부 모델 비교가 필요 없어진다.

실험 결과

연구 질문

• RQ1 희박한 그래프에서도 대규모 표본 근사에서 계산 가능하고 일관된 완전 베이지안 방법이 SBM에 적용될 수 있는가?
• RQ2 모델 후보 K에 대한 외부 루프 없이도 클러스터 수(K)에 대한 모델 선택을 추론 과정에 원활하게 통합할 수 있는가?
• RQ3 완전 베이지안 SBM의 맥락에서 민감도 전파(BP)가 평균장 근사 대비 추론 정확도에 미치는 영향은 무엇인가?
• RQ4 표준 근사가 실패하는 희박한 그래프에서 모델 특이성 문제를 다룰 수 있도록 FAB 프레임워크를 어떻게 수정할 수 있는가?
• RQ5 제안된 방법은 기존 방법들보다 정확도와 단순성(즉, 더 작은 K) 사이의 균형을 더 잘 달성하는가?

주요 결과

• F2AB는 8개의 실세계 네트워크 중 5개에서 최고의 정규화 예측 로그우도(NPLL)를 기록했으며, ICL, cICL, VB, FAB, FIC+BP를 모두 능가했다.
• usaport를 제외한 모든 데이터셋에서 가장 작은 클러스터 수(K)를 선택했으며, FIC+BP 대비 K 값이 2~4배 작았고 예측 정확도는 유사하거나 더 높았다.
• 식별 K=4를 심은 시뮬레이션 데이터에서 F2AB와 FIC+BP는 다른 방법들보다 더 정확하고 안정적으로 K=4를 탐지했으며, 특히 N이 작은 경우에 유의미한 성능 향상을 보였다.
• FIC+BP는 더 나은 추론(BP) 덕분에 FAB보다 예측 성능에서 뛰어났지만, F2AB는 R₂ 정규화가 포함된 개선된 목적 함수 덕분에 예측 성능과 모델 단순성 양면에서 FIC+BP를 초월했다.
• F2AB 알고리즘은 다른 방법들보다 국소 최적값을 더 효과적으로 피했으며, K_max에서 초기화하고 BP를 사용함으로써 희박한 그래프의 종속성을 더 잘 포착하기 때문으로 보인다.
• 이론적 근거에 기반해 점근적 일관성이 보장되고 마진널 우도 근사 오차율이 향상된 점을 고려할 때, 이 방법은 조밀한 그래프와 희박한 그래프 모두에서 일관된 성능을 보였다.