[논문 리뷰] Consistent estimation of dynamic and multi-layer block models

Qiuyi Han, Kevin S. Xu외 1명|arXiv (Cornell University)|2014. 10. 31.

Bayesian Methods and Mixture Models참고 문헌 40인용 수 55

한 줄 요약

이 논문은 네트워크 계층 수가 증가함에 따라 다중 그래프 스토케스틱 블록 모델에서 스펙트럴 클러스터링과 최대우도추정법(MLE)의 일致성을 확립한다. MLE를 계산적으로 실현 가능하게 만들기 위해 변분 근사법을 도입하고, 두 추정법이 참 블록 구조를 일관되게 복원할 수 있는 이론적 조건을 증명하며, 증가하는 계층 수를 가진 다중 그래프 SBM에 대해 최초로 점근적 일관성 결과를 제공한다.

ABSTRACT

Significant progress has been made recently on theoretical analysis of estimators for the stochastic block model (SBM). In this paper, we consider the multi-graph SBM, which serves as a foundation for many application settings including dynamic and multi-layer networks. We explore the asymptotic properties of two estimators for the multi-graph SBM, namely spectral clustering and the maximum-likelihood estimate (MLE), as the number of layers of the multi-graph increases. We derive sufficient conditions for consistency of both estimators and propose a variational approximation to the MLE that is computationally feasible for large networks. We verify the sufficient conditions via simulation and demonstrate that they are practical. In addition, we apply the model to two real data sets: a dynamic social network and a multi-layer social network with several types of relations.

연구 동기 및 목표

• 계층 수가 증가함에 따라 다중 그래프 스토케스틱 블록 모델(SBM)에 대한 추정법의 이론적 일관성을 확립하기 위해.
• 스펙트럴 클러스터링과 최대우도추정법(MLE)이 참 블록 구조를 일관되게 복원할 수 있는 충분한 조건을 도출하기 위해.
• 대규모 다중 그래프 네트워크를 위한 MLE에 대해 계산적으로 실현 가능한 변분 근사법을 개발하기 위해.
• 시뮬레이션을 통해 이론적 조건을 검증하고, 실제 동적 및 다중 계층 사회 네트워크에 방법을 적용하기 위해.

제안 방법

• 특정 경우의 다중 그래프 SBM 하에서 노드 소속을 추정하기 위해 스펙트럴 클러스터링을 사용하고, 계층 수가 증가함에 따라 일관성을 증명한다.
• 일반적인 다중 그래프 SBM에서 MLE의 일관성을 위한 충분조건을 도출하며, 참 및 잘못된 클래스 할당 간의 기대 로그우도 차이를 바탕으로 한다.
• 노드 할당을 독립적인 다항분포로 분리하고 기대최대화(EM) 프레임워크를 적용함으로써 MLE에 대한 변분 근사법을 제안한다.
• 반복적인 EM 방식 알고리즘을 사용한다: E단계에서는 기대 간선 우도를 사용해 노드 할당 확률을 갱신하고, M단계에서는 블록 확률 매개변수와 블록 간 연결 확률을 갱신한다.
• 공통 확률을 분리하기 위해 평균장 근사를 적용하여, 노드 클래스 소속과 블록 간 연결 매개변수에 대한 다루기 쉬운 최적화를 가능하게 한다.
• 모델을 시뮬레이션 데이터 및 두 개의 실세계 데이터셋(동적 사회 네트워크와 다중 상호작용 유형을 가진 다중 계층 사회 네트워크)에 적용한다.

실험 결과

연구 질문

• RQ1 계층 수가 증가함에 따라 다중 그래프 SBM에 대한 스펙트럴 클러스터링은 어떤 조건에서 일관성이 있는가?
• RQ2 일반적인 다중 그래프 SBM에서 최대우도추정법(MLE)의 일관성을 보장하는 충분한 조건은 무엇인가?
• RQ3 대규모 네트워크에서 MLE를 효율적으로 근사하면서도 이론적 일관성을 유지할 수 있는 방법은 무엇인가?
• RQ4 이론적 일관성 조건은 실세계의 다중 그래프 네트워크 설정에서 실제로 검증 가능하고 효과적인가?

주요 결과

• 블록 구조가 계층 간 유지되고 계층 수가 증가할 때, 특수한 경우에서 스펙트럴 클러스터링은 다중 그래프 SBM에 대해 일관성이 있다.
• 최소 클래스 크기, 클래스 간 연결 차이, 계층별 간선 확률을 포함한 충분한 조건 하에서 MLE는 일관성이 있다.
• MLE에 대한 변분 근사법이 제안되었으며, 대규모 네트워크에서 계산적으로 실현 가능함을 입증하여 실용적 적용이 가능하다.
• 이론적 일관성 조건은 시뮬레이션을 통해 실험적으로 검증되었으며, 실용적 관련성과 강건성을 보여준다.
• 모델은 동적 사회 네트워크와 다양한 상호작용 유형을 가진 다중 계층 사회 네트워크 양쪽 모두에서 참 블록 구조를 성공적으로 복원한다.
• 두 클래스의 특수한 경우에서, 오분류된 노드의 경계 사례를 확인함으로써 일관성에 필요한 최소 노드 수를 계산할 수 있다.