[논문 리뷰] Scalable MCMC for Mixed Membership Stochastic Blockmodels

Wenzhe Li, Sungjin Ahn외 1명|arXiv (Cornell University)|2015. 10. 16.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 대규모 네트워크에서의 스케일러블 베이지안 추론을 위한 확률적 경사 하강 리만 링드린 다이내믹스(SGRLD) 알고리즘을 제안한다. 이 알고리즘은 미니배치 데이터를 사용하여 대규모 네트워크에서 효율적인 샘플링을 가능하게 하며, 스케일러블한 혼합 구성성질을 가진 스토케스틱 블록모델(a-MMSB)에 적용된다. 이 방법은 스케일러블한 변분 추론(SVI)보다 더 빠른 수렴 속도와 낮은 퍼플렉서티를 달성하며, 정확도를 유지하면서 메모리 사용량을 최대 50%까지 줄이는 새로운 스파arsity 인식 근사법을 도입한다.

ABSTRACT

We propose a stochastic gradient Markov chain Monte Carlo (SG-MCMC) algorithm for scalable inference in mixed-membership stochastic blockmodels (MMSB). Our algorithm is based on the stochastic gradient Riemannian Langevin sampler and achieves both faster speed and higher accuracy at every iteration than the current state-of-the-art algorithm based on stochastic variational inference. In addition we develop an approximation that can handle models that entertain a very large number of communities. The experimental results show that SG-MCMC strictly dominates competing algorithms in all cases.

연구 동기 및 목표

• 수백만 개의 노드와 커뮤니티를 포함하는 대규모 네트워크에서 베이지안 추론의 스케일러비리티 과제를 해결한다.
• 빅 네트워크 데이터에서 스트리밍 방식의 효율적 추론을 가능하게 하는 확률적 경사 하강 MCMC 방법을 개발한다.
• 커뮤니티 탐지에서 더 높은 정확도와 더 빠른 수렴 속도를 달성함으로써 기존의 스케일러블한 변분 추론(SVI)을 향상시킨다.
• 큰 K와 N에 대해 메모리 복잡도를 O(KN)에서 O(K)로 줄이는 스파arsity 근사를 도입한다.
• Distributed 구현을 통해 Friendster(20억 개 간선)와 같은 거대한 네트워크에서 완전한 베이지안 추론을 가능하게 한다.

제안 방법

• SGRLD를 a-MMSB 모델에 적응시켜, 기울기 추정을 위해 노드와 간선의 미니배치를 사용한다.
• 대표성 있고 변동성이 낮은 기울기 추정을 보장하기 위해 계층적 랜덤 노드 샘플링을 사용한다.
• 가장 가능성 있는 커뮤니티만 유지하는 임계값 기반 스파arsity 근사를 통합하여 메모리 사용량을 감소시킨다.
• 점차 감소하는 스텝 크기를 사용하여 리만 링드린 SDE를 적용함으로써 진정한 사후분포로의 점근적 수렴을 보장한다.
• 노드 소속 π, 커뮤니티 강도 β, 잠재 소속 z의 공동 사후분포 구조를 활용하여 확률적 기울기를 통한 동시 파rameter 업데이트를 수행한다.
• 각 반복에서 노드와 간선의 미니배치를 사용하여 계산 비용을 O(N²)에서 O(n²K)로 감소시킨다. 여기서 n은 미니배치 크기이다.

실험 결과

연구 질문

• RQ1 확률적 경사 하강 MCMC가 대규모 네트워크의 커뮤니티 탐지에서 속도와 정확도 측면에서 SVI를 능가할 수 있는가?
• RQ2 제안된 SGRLD 알고리즘이 네트워크 크기와 커뮤니티 수가 증가함에 따라 어떻게 스케일링되는가?
• RQ3 스파arsity 근사가 대규모 a-MMSB 모델에서 메모리 효율성과 추론 정확도에 어떤 영향을 미치는가?
• RQ4 스텝 크기와 미니배치 크기가 SG-MCMC 알고리즘의 수렴과 분산에 미치는 영향은 무엇인가?
• RQ5 Friendster와 같은 100억 개 간선의 네트워크에서 전체 베이지안 추론을 위해 알고리즘이 효과적으로 분산 구현될 수 있는가?

주요 결과

• 모든 반복과 데이터셋에서 SG-MCMC는 SVI보다 엄격히 낮은 퍼플렉서티를 달성하여 더 높은 정확도와 더 빠른 수렴 속도를 입증한다.
• 제안된 SGMC-M 근사는 전체 SGMC 방법 대비 메모리 사용량을 절반으로 줄여(즉, 50% 감소) 동일한 성능을 유지한다.
• τ = 0.9 또는 τ = 1.0일 때, 임계값 기반 스파arsity 근사는 메모리 효율성과 정확도 사이의 최적의 트레이드오���을 달성한다.
• US-AIR 데이터셋의 경우, 스텝 크기 0.01이 최고의 성능을 보이며, 이는 편향과 혼합 속도 사이의 명확한 트레이드오프를 시사한다.
• 합성 데이터에서는 미니배치 크기 m = 5가 최적의 성능을 내지만, US-AIR에서는 m = 20가 가장 우수한 성능을 보여, 데이터셋에 따라 최적의 샘플링 크기가 다름을 시사한다.
• 알고리즘은 최대 20억 개 간선의 네트워크까지 스케일링 가능하며, Friendster 네트워크에서 초도 결과는 좋은 수렴성과 낮은 퍼플렉서티를 보였다.