[논문 리뷰] Blockmodels: A R-package for estimating in Latent Block Model and Stochastic Block Model, with various probability functions, with or without covariates

Jean-Benoist Léger|arXiv (Cornell University)|2016. 02. 24.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 21

한 줄 요약

이 논문은 다양한 확률 분포(베르누이, 가우시안, 포아송)를 갖는 잠재 블록 모형(LBM)과 스토하스틱 블록 모형(SBM)을 추정하기 위한 Blockmodels R 패키지를 소개한다. 이 패키지는 공변수 유무에 관계없이 이를 지원하며, 효율적인 계산을 위해 RcppArmadillo를 통해 C++로 구현된 변분 기반 EM 알고리즘을 구현한다. 또한 ICL 기준을 이용한 자동 군집 수 선택 기능을 제공하며, 병렬 처리와 벡터화 연산을 통해 수천 개 노드까지의 대규모 네트워크 분석을 가능하게 한다.

ABSTRACT

Analysis of the topology of a graph, regular or bipartite one, can be done by clustering for regular ones or co-clustering for bipartite ones. The Stochastic Block Model and the Latent Block Model are two models, which are very similar for respectively regular and bipartite graphs, based on probabilistic models. Initially developed for binary graphs, these models have been extended to valued networks with optional covariates on the edges. This paper present a implementation of a Variational EM algorithm for Stochastic Block Model and Latent Block Model for some common probability functions, Bernoulli, Gaussian and Poisson, without or with covariates, with some standard flavors, like multivariate extensions. This implementation allow automatic group number exploration and selection via the ICL criterion, and allow analyze networks with thousands of nodes in a reasonable amount of time.

연구 동기 및 목표

• 복잡한 네트워크에 대해 스토하스틱 블록 모형(SBM)과 잠재 블록 모형(LBM)을 적합하기 위한 유연하고 효율적인 R 패키지 개발
• 다양한 확률 분포(베르누이, 가우시안, 포아송)를 지원하고, 실제 네트워크 데이터의 모델링을 향상시키기 위해 간선에 공변수를 통합
• ICL 기준을 이용한 최적의 군집 수 자동 선택을 통해 모델의 강건성과 해석 가능성 향상
• 최적화된 C++ 계산, 벡터화 연산, R에서의 병렬 실행을 통해 대규모 네트워크(수천 개 노드)에 대한 확장성 확보
• 비계산적 작업은 R에서 완전히 통합하면서도 CPU 집약적인 작업은 C++로 이관하여 사용자 우량한 R 인터페이스 제공

제안 방법

• 잠재 블록 모형과 스토하스틱 블록 모형에 대해 변분 기반 EM 알고리즘을 구현하며, 계산이 불가능한 후행 분포 계산을 단순화하기 위해 평균장 근사 사용
• RcppArmadillo를 활용해 R과 C++ 코드를 연동하여, 대규모 네트워크 추정에 핵심적인 역할을 하는 행렬 연산의 속도 향상
• 다양한 가능도 가족 지원: 이진 데이터에 적합한 베르누이, 연속 데이터에 적합한 가우시안, 카운트 데이터에 적합한 포아송, 공변수 유무에 관계없이 모두 지원
• 특히 M단계에서 닫힌 형태 해가 존재할 경우 이를 활용하여 효율성을 높이기 위해 벡터화된 E단계 및 M단계 계산 적용
• ICL 기준을 통한 자동 군집 수 탐색을 통합하고, 국소 최적해에 수렴하는 것을 개선하기 위해 재초기화 전략 도입
• R의 parallel 패키지를 활용한 병렬 처리를 통해 여러 초기화를 동시에 실행하여 신뢰성과 속도 향상

실험 결과

연구 질문

• RQ1 다양한 간선 분포를 갖는 대규모 네트워크에 대해 스토하스틱 블록 모형과 잠재 블록 모형을 어떻게 효율적으로 추정할 수 있는가?
• RQ2 실제 네트워크에 대한 SBM과 LBM에서 공변수의 포함이 모형 적합도와 해석 가능성에 얼마나 기여하는가?
• RQ3 사전 지식 없이 ICL 기준을 통한 자동 군집 수 선택이 SBM과 LBM에서 최적의 군집 수를 신뢰성 있게 식별할 수 있는가?
• RQ4 수천 개 노드까지의 네트워크에서 제안된 구현의 계산 성능는 어떻게 되며, 모델 복잡도 증가에 따라 어떻게 스케일링되는가?
• RQ5 베르누이, 가우시안, 포아송 등 다양한 가능도 가족과 그 공변수 포함 변형이 추정 속도와 정확도 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• Blockmodels 패키지는 베르누이, 가우시안, 포아송 등 다양한 확률 분포를 포함해 공변수 유무에 관계없이 SBM과 LBM을 성공적으로 추정한다.
• 실행 시간은 모델 복잡도에 따라 수 초에서 수 시간까지 변동한다. 예를 들어, 200개 노드, 10개 군집, 공변수 포함 포아송 모형의 평균 실행 시간은 약 3시간 49분이 소요되었다.
• 독립 성분을 가진 다변수 가우시안 모형이 가장 빠른 추정 시간을 기록했으며, 100개 노드일 경우 5초, 200개 노드일 경우 1분 3초로 높은 효율성을 입증했다.
• 벡터화 연산과 병렬 처리 덕분에 패키지는 수천 개 노드까지의 네트워크를 처리할 수 있으며, 모델 복잡도 증가에 따라 잘 스케일링된다.
• ICL 기준을 통한 자동 군집 수 선택은 효과적이며, 재초기화 전략을 통해 수렴 안정성이 향상된다.
• C++ 가속화와 효율적인 메모리 관리 덕분에 이전의 C++ 전용 구현보다도 더 높은 유연성과 모델 가용성을 확보해 뛰어난 성능을 달성했다.