[논문 리뷰] Clustering in networks with the collapsed Stochastic Block Model

Aaron F. McDaid, Thomas Brendan Murphy외 2명|arXiv (Cornell University)|2012. 03. 14.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 4

한 줄 요약

이 논문은 간선 확률 매개변수를 통합하여 할당 샘플러를 사용한 효율적인 베이지안 클러스터링을 가능하게 하는 축약된 스토케스틱 블록 모델(Stochastic Block Model, SBM)을 제안한다. 클러스터 수에 사전확률을 부여함으로써 이론적 전이가 없는 전이 차원을 넘는 MCMC를 피하고 클러스터 수와 소속을 직접 추정한다. 이로 인해 최대 10,000개의 노드와 수천만 개의 간선을 가진 네트워크에서도 높은 정확도와 확장성을 달성한다.

ABSTRACT

An efficient MCMC algorithm is presented to cluster the nodes of a network such that nodes with similar role in the network are clustered together. This is known as block-modelling or block-clustering. The model is the stochastic blockmodel (SBM) with block parameters integrated out. The resulting marginal distribution defines a posterior over the number of clusters and cluster memberships. Sampling from this posterior is simpler than from the original SBM as transdimensional MCMC can be avoided. The algorithm is based on the allocation sampler. It requires a prior to be placed on the number of clusters, thereby allowing the number of clusters to be directly estimated by the algorithm, rather than being given as an input parameter. Synthetic and real data are used to test the speed and accuracy of the model and algorithm, including the ability to estimate the number of clusters. The algorithm can scale to networks with up to ten thousand nodes and tens of millions of edges.

연구 동기 및 목표

• 노드의 구조적 역할에 기반해 네트워크 내에서 노드를 클러스터링하는 확장성 있고 정확한 베이지안 방법을 개발하는 것.
• 전이 차원을 넘는 MCMC가 필요 없도록 간선 확률 매개변수를 통합함으로써 사후 분포 추론을 단순화하는 것.
• 클러스터 수에 사전확률을 부여함으로써 클러스터 수를 직접 추정하고 사후 모델 선택 기준(예: ICL)이 필요 없도록 하는 것.
• 간선 무게에 대해 포아송 및 감마 사전확률을 사용해 가중치가 있는 네트워크로 모델을 확장하는 것.
• 합성 및 실세계 네트워크에서 높은 성능을 보여주는 것, 특히 대규모 데이터셋에서도 성능을 입증하는 것.

제안 방법

• 축약된 SBM은 이원형 간선에 대해 베타 분포, 가중치가 있는 간선에 대해 감마 분포를 사용하는 공액 사전확률을 통해 블록 별 간선 확률 매개변수(πkl)를 통합하여 클러스터 할당과 클러스터 수에 대한 주변 가능도를 도출한다.
• 할당 샘플러를 사용해 클러스터 소속과 클러스터 수를 동시에 샘플링함으로써, 클러스터 수를 랜덤 변수로 직접 모델링함으로써 복잡한 역전이 가능한 MCMC를 피한다.
• 이원형 간선의 경우 주변 가능도는 베타-이항 분포로 유도되며, πkl에 대한 적분 결과로 베타 함수의 비율이 된다.
• 가중치가 있는 간선의 경우 감마-감마 공액 쌍을 사용해 주변 가능도를 도출하며, 총 간선 무게와 각 블록 내 노드 쌍 수에 따라 의존하는 감마-감마 주변 가능도를 얻는다.
• 개별 간선 값 저장 없이도 각 블록당 총 간선 수(ykl)와 노드 쌍 수(pkl)와 같은 충분통계량을 사용해 주변 가능도를 효율적으로 계산한다.
• 이 방법은 이원형 및 가중치가 있는 네트워크 모두를 지원하며, 후자는 간선 무게에 대해 포아송 모델과 감마 사전확률을 사용한다.

실험 결과

연구 질문

• RQ1 통합된 매개변수를 가진 축약된 SBM은 전이 차원을 넘는 MCMC 없이도 효율적이고 정확한 네트워크 클러스터링을 가능하게 하는가?
• RQ2 클러스터 수에 사전확률을 부여함으로써 클러스터 수를 직접 추정할 수 있으며, ICL 같은 모델 선택 기준이 필요 없어지는가?
• RQ3 이 방법은 수만 개의 노드와 수백만 개의 간선을 가진 대규모 네트워크로 어떻게 확장되는가?
• RQ4 노이즈 수준과 클러스터 구조가 다양하게 설정된 합성 네트워크에서 진짜 클러스터 구조를 정확히 복원할 수 있는가?
• RQ5 실세계 네트워크 데이터, 예를 들어 여름학교에서의 사회적 상호작용 네트워크에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 합성 네트워크에서 알고리즘이 진짜 클러스터 수에 대해 높은 사후 확률을 할당함으로써 클러스터 수를 정확히 추정한다.
• 합성 테스트에서 알고리즘은 노드를 정확한 클러스터에 할당하는 데 높은 정확도를 보이며, 올바르게 할당된 노드의 사후 확률이 1.0에 가깝게 수렴한다.
• 이 알고리즘은 최대 10,000개의 노드와 1,000만 개의 간선을 가진 네트워크에서도 효율적으로 확장되며, 대규모 네트워크에 대한 실용적 타당성을 입증한다.
• 할당 샘플링을 사용한 축약된 SBM은 계산 속도 면에서 표준 SBM보다 뛰어나며, 역전이 가능한 MCMC의 복잡성을 피한다.
• 실세계의 여름학교에서의 사회적 네트워크에서 의미 있는 커뮤니티 구조를 성공적으로 식별하여 실제 데이터에 대한 유용성을 검증한다.
• 공액 사전확률과 주변 가능도 통합은 계산 부담을 크게 줄이면서도 통계적 정확도를 유지한다.