[논문 리뷰] Improved Bayesian inference for the Stochastic Block Model with application to large networks

Aaron F. McDaid, Thomas Brendan Murphy외 2명|arXiv (Cornell University)|2012. 03. 14.

Bayesian Methods and Mixture Models인용 수 2

한 줄 요약

이 논문은 블록 파라미터를 통합하여, 통합된 블록 모형(SBM)을 사용한 네트워크에서 베이지안 블록 클러스터링을 수행하기 위한 효율적인 MCMC 알고리즘을 제안한다. 블록 수에 대한 사전분포를 두어 차원이 변하는 샘플링이 필요 없는 추론을 가능하게 하며, 클러스터 구성과 클러스터 수를 정확하게 추정하고, 최대 10,000개의 노드와 수천만 개의 간선을 가진 대규모 네트워크로도 스케일링이 가능하다.

ABSTRACT

An efficient MCMC algorithm is presented to cluster the nodes of a network such that nodes with similar role in the network are clustered together. This is known as block-modeling or block-clustering. The model is the stochastic blockmodel (SBM) with block parameters integrated out. The resulting marginal distribution defines a posterior over the number of clusters and cluster memberships. Sampling from this posterior is simpler than from the original SBM as transdimensional MCMC can be avoided. The algorithm is based on the allocation sampler. It requires a prior to be placed on the number of clusters, thereby allowing the number of clusters to be directly estimated by the algorithm, rather than being given as an input parameter. Synthetic and real data are used to test the speed and accuracy of the model and algorithm, including the ability to estimate the number of clusters. The algorithm can scale to networks with up to ten thousand nodes and tens of millions of edges.

연구 동기 및 목표

• 대규모 네트워크에서 블록 클러스터링을 위한 확장성 있고 정확한 베이지안 추론 방법을 개발하는 것.
• 클러스터 수에 대한 사전분포를 통해 사전에 클러스터 수를 지정할 필요 없이 직접 추정하는 것.
• 블록 파라미터를 통합하여 사후분포 샘플링을 단순화하고, 차원이 변하는 MCMC를 피하는 것.
• 최대 10,000개의 노드와 수천만 개의 간선을 가진 대규모 네트워크에서 효율적인 추론을 가능하게 하는 것.
• 합성 및 실세계 네트워크 데이터에서의 정확성과 속도를 검증하는 것.

제안 방법

• 차원이 변하는 이동 없이 클러스터 구성과 클러스터 수를 동시에 추론하기 위해 할당 샘플러를 사용한다.
• 블록 파라미터를 통합하여 주변 가능도 접근법을 적용함으로써 사후분포 계산을 단순화한다.
• 클러스터 수에 직접 사전분포를 할당하여 추론 과정에서 자동으로 추정이 가능하도록 한다.
• 결과로 얻어진 클러스터 할당과 클러스터 수에 대한 사후분포를 MCMC 샘플링한다.
• 조건부 공액성과 효율적인 제안 메커니즘을 활용하여 대규모 네트워크로의 스케일링을 달성한다.
• 혼합성과 수렴성을 향상시키기 위해 MCMC 기법에서 노드 기반 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 제안된 알고리즘이 사전에 지정하지 않고도 네트워크의 클러스터 수를 정확하게 추정할 수 있는가?
• RQ2 대규모 네트워크에서 기존의 SBM 추론 방법과 비교해 성능(속도 및 정확도) 측면에서 어떻게 다른가?
• RQ3 블록 파라미터를 통합함으로써 샘플링 효율성과 확장성은 어느 정도 향상되는가?
• RQ4 복잡한 커뮤니티 구조를 가진 실세계 네트워크에서 이 방법은 얼마나 잘 작동하는가?
• RQ5 최대 10,000개의 노드와 수천만 개의 간선을 가진 네트워크에서도 정확성과 효율성을 유지할 수 있는가?

주요 결과

• 알고리즘은 클러스터 수에 대한 사전분포를 통해 직접 클러스터 수를 추정하여 수동 입력이 필요 없어졌다.
• 블록 파라미터를 통합함으로써 차원이 변하는 MCMC를 피할 수 있어 추론 과정이 크게 단순화되었다.
• 최대 10,000개의 노드와 수천만 개의 간선을 가진 네트워크로도 효과적으로 스케일링되어 대규모 데이터에 대한 실용적 적용 가능성을 입증했다.
• 합성 및 실세계 네트워크에 대한 실험 결과는 진짜 커뮤니티 구조를 높은 정확도로 복원함을 확인했다.
• 할당 샘플러 기반 접근법은 기존의 차원이 변하는 MCMC 대비 더 빠른 혼합성과 향상된 수렴성을 달성했다.
• 다양한 네트워크 구조와 커뮤니티 크기 분포에 걸쳐도 안정적인 성능을 유지했다.