[논문 리뷰] Adapting the Stochastic Block Model to Edge-Weighted Networks

Christopher Aicher, Abigail Z. Jacobs외 1명|arXiv (Cornell University)|2013. 05. 24.

Statistical Methods and Inference참고 문헌 15인용 수 53

한 줄 요약

이 논문은 에지 무게를 지수족 분포를 사용하여 모델링함으로써 고전적인 스토케스틱 블록 모델을 에지 무게가 있는 네트워크로 일반화한 베이지안 변분 추론 방법인 가중치 부여된 스토케스틱 블록 모델(WSBM)을 제안한다. 이 방법은 특히 분산이 높거나 무게 분포가 겹치는 경우에도 잠재 블록 구조를 유지함으로써 임계치 기반 SBM 응용보다 뛰어난 성능을 보인다.

ABSTRACT

We generalize the stochastic block model to the important case in which edges are annotated with weights drawn from an exponential family distribution. This generalization introduces several technical difficulties for model estimation, which we solve using a Bayesian approach. We introduce a variational algorithm that efficiently approximates the model's posterior distribution for dense graphs. In specific numerical experiments on edge-weighted networks, this weighted stochastic block model outperforms the common approach of first applying a single threshold to all weights and then applying the classic stochastic block model, which can obscure latent block structure in networks. This model will enable the recovery of latent structure in a broader range of network data than was previously possible.

연구 동기 및 목표

• 이중 에지가 필요한 고전적 스토케스틱 블록 모델(SBM)의 한계를 해결하기 위해 연속적인 에지 무게를 임계치로 처리함으로써 정보 손실이 발생하는 문제를 해결한다.
• 에지 무게가 지수족 분포에서 유래된다는 점을 직접 모델링할 수 있는 체계적인 확률적 프레임워크를 개발하여 잠재 공동체 구조를 더 정확하게 복원한다.
• 밀도가 높은 그래프에 적합한 베이지안 변분 추론 접근법을 활용하여 가중치가 있는 네트워크의 파라미터 추정에 따른 기술적 과제를 해결한다.
• 완전한 무게 정보를 사용할 경우 임계치 전략보다 성능이 향상됨을 입증하며, 특히 블록별로 무게 분포가 겹치거나 분산이 크게 다를 경우에 유의미한 개선이 이루어진다.
• 에지 무게가 핵심적인 구조적 정보를 담고 있는 실제 네트워크에서 공동체 탐지에 대해 확장 가능하고 강건한 방법을 제공한다.

제안 방법

• 지수족 분포(예: 정규분포, 포아송분포 등)에서 유래된 에지 무게를 허용하는 스토케스틱 블록 모델을 일반화하여 연속적인 에지 무게를 임계치 없이 직접 모델링할 수 있도록 한다.
• 각 블록 쌍이 지수족에서 유래된 고유한 파라미터 벡터 θr를 가지는 가중치 부여된 스토케스틱 블록 모델(WSBM)을 정의함으로써 블록 간 분포의 차이를 포괄한다.
• 잠재 블록 할당 z와 에지 번들 파라미터 θ에 대한 후행 분포를 근사하기 위해 변분 베이즈 알고리즘을 사용하여 밀도가 높은 그래프에서 효율적인 추론을 가능하게 한다.
• 잠재 변수와 파라미터를 분리하기 위해 평균장 근사(Mean-field approximation)를 적용하여 좌표 상승법을 통한 반복적 최적화를 가능하게 한다.
• 근사 품질을 측정하기 위해 칼리브라-레이블리 분산(Kullback-Leibler divergence, VI)을 사용하여 변분 후행 분포가 진정한 후행 분포와 가까워지도록 보장한다.
• 모델 선택을 위해 베이즈 요인을 사용하여 최적의 블록 수를 결정함으로써 k > k*일 경우 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 임계치 없이 에지 무게를 처리함으로써 일반화된 스토케스틱 블록 모델이 에지 무게가 있는 네트워크에서 잠재 블록 구조를 효과적으로 복원할 수 있는가?
• RQ2 에지 무게 분포가 겹치거나 변동성이 높을 경우, WSBM의 성능은 임계치를 적용한 SBM 응용보다 어떻게 다를까?
• RQ3 WSBM에서 전체 무게 정보를 사용할 경우, 무게 크기를 무시하는 방법보다 더 정확하고 강건한 공동체 탐지가 이루어지는가?
• RQ4 진짜 블록 수가 알려져 있지 않거나 추정된 블록 수가 진짜 수를 초과할 경우, WSBM은 어떻게 모델 선택을 처리하는가?
• RQ5 에지 무게가 기능적 또는 관계적 의미를 지닌 네트워크에서 WSBM은 어떤 정도로 구조적 정보를 유지하는가?

주요 결과

• WSBM은 모든 테스트 조건에서 임계치 기반 SBM 응용보다 뚜렷하게 뛰어난 성능을 보이며, 특히 에지 무게 분산이 높거나 분포가 겹칠 경우에 유의미한 개선이 이루어진다.
• 에지 무게 분포가 잘 분리되어 있을 경우, WSBM은 k = 5 = k*에서 진짜 블록 구조를 정확히 복원하지만, 임계치 기반 SBM은 유사한 임계치 통과 확률로 인해 블록을 구분하지 못한다.
• k > k* 조건에서도 WSBM은 과적합을 피하면서 안정적인 성능을 유지하며, 유연하게 실패(fail gracefully)하는 반면, 임계치 기반 SBM은 과소적합되어 성능이 열 劣하다.
• k-means 및 계층적 클러스터링은 고분산 조건에서 블록 내부의 구조에 의존하고 노이즈에 민감하여 성능이 열 劣하지만, WSBM은 전체 무게 정보를 활용하여 뛰어난 성능을 발휘한다.
• 변분 베이즈 알고리즘은 밀도가 높은 그래프에서 효율적인 후행 근사를 가능하게 하며, 베이즈 요인은 정확한 블록 수 선택을 신뢰성 있게 수행함으로써 모델의 복잡성에 대한 강건성을 확인한다.