[논문 리뷰] Provable Estimation of the Number of Blocks in Block Models

Bowei Yan, Purnamrita Sarkar외 1명|arXiv (Cornell University)|2017. 05. 24.

Complex Network Analysis Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 약한 조화성 조건 하에서 모델 파rameter에 대한 사전 지식이 필요 없이, 확률적 블록 모델(SBMs)에서 블록 수 $ r $를 증명 가능하게 추정하는 SDP(based 방법인 SPUR을 제안한다. 이 방법은 한 번의 최적화 단계에서 클러스터링 행렬과 $ r $를 동시에 복원하며, 높은 확률로 정확한 복원을 달성하고 시뮬레이션과 실제 네트워크에서 최신 기법들을 능가한다.

ABSTRACT

Community detection is a fundamental unsupervised learning problem for unlabeled networks which has a broad range of applications. Many community detection algorithms assume that the number of clusters $r$ is known apriori. In this paper, we propose an approach based on semi-definite relaxations, which does not require prior knowledge of model parameters like many existing convex relaxation methods and recovers the number of clusters and the clustering matrix exactly under a broad parameter regime, with probability tending to one. On a variety of simulated and real data experiments, we show that the proposed method often outperforms state-of-the-art techniques for estimating the number of clusters.

연구 동기 및 목표

• 모델 파rameter에 대한 사전 지식이 없을 때도 스트로스틱 블록 모델(SBMs)에서 클러스터 수 $ r $를 추정하는 문제에 대응하기 위해.
• 모델 파rameter에 대한 사전 지식이 필요 없이 $ r $와 클러스터링 행렬을 동시에 추정하고 증명 가능한 보장을 제공하는 방법을 개발하기 위해.
• 기존의 SDP 기반 접근법을 더 약한 조건—즉, 강한 조화성 대신 약한 조화성—에서도 작동하도록 확장하여 적용 가능한 파rameter 영역을 넓히기 위해.
• 단일 조정 파rameter를 통해 네트워크의 부분 구조를 탐색함으로써 다중 해상도 클러스터링을 가능하게 하여 탐색적 네트워크 분석을 지원하기 위해.
• 모의 및 실제 네트워크에서 $ r $ 추정과 클러스터 구성원 복원 성능이 기존 최신 기법들을 능가하도록 하기 위해.

제안 방법

• 논문은 [39]의 제안 방식을 영감으로 받아 클러스터링 행렬의 정규화된 SDP 근사를 사용하여 SBMs에서의 블록 구조를 모델링한다.
• 목적 함수에 조정 파aram터 $ \lambda $ 를 도입하여 계층적 부분 구조 탐색을 유도하고, 다중 수준의 클러스터링을 탐지할 수 있도록 한다.
• 알고리즘은 $ \lambda $ 에 대해 격자 탐색을 수행하며, 클러스터링 행렬의 고유값 갭 기반 점수 기준을 최대화하는 값을 선택한다.
• 모든 파aram터 조정이 필요 없는 경우 $ r $ 가 알려져 있을 때, 그리고 $ r $ 가 알려져 있지 않을 때는 단일 SDP 최적화를 통해 $ r $ 와 클러스터링 행렬을 동시에 추정한다.
• 약한 조화성 SBMs 하에서 강력한 일致성을 가지도록 설계되었으며, 각 노드가 자신 소속 클러스터 내에서의 연결 확률이 다른 클러스터보다 높은 조건을 만족한다.
• SDP 해의 구조를 활용하여 클러스터 경계와 부분 구조를 식별하며, 넓은 파arameter 영역에서 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 반드시 모델 파aram터의 사전 지식이 없이도, 반정적 프로그래밍 접근법이 확률적 블록 모델에서 블록 수 $ r $ 를 추정할 수 있는가?
• RQ2 제안된 방법이 약한 조화성 조건 하에서도 $ r $ 와 클러스터링 행렬의 정확한 복원을 달성하는가?
• RQ3 이 방법은 단일 최적화 프레임워크를 통해 네트워크의 계층적 또는 다중 해상도 클러스터링 구조를 탐지할 수 있는가?
• RQ4 제안된 방법은 $ r $ 추정과 클러스터 구성원 복원에서 기존 최신 기법들과 비교해 성능가 어떻게 되는가?
• RQ5 조정 파aram터가 실제 및 모의 네트워크에서 부분 구조 탐지에 미치는 영향은 무엇인가?

주요 결과

• SPUR은 이전 기법보다 더 넓은 범위인 약한 조화성 SBMs 하에서도 클러스터 수 $ r $ 와 클러스터링 행렬을 높은 확률로 정확히 복원한다.
• 균형 및 비균형 클러스터 크기 설정에서 SPUR은 NMI(정규화된 상호정보량)와 $ r $ 추정 정확도 모두에서 Bethe-Hessian 추정기(BHac), USVT, CMM를 능가한다.
• 카라테 클럽 데이터셋에서 SPUR은 $ r=2 $ 를 정확히 식별하며, $ \lambda=1.4 $ 에서 더 세밀한 4클러스터 부분 구조를 드러내어 다중 해상도 능력을 입증한다.
• 칼리지 풋볼 네트워크에서는 SPUR이 $ r=13 $ 으로 추정하여 진짜 $ r=12 $ 와 유사한 결과를 도출했고, BH, USVT, CMM는 $ r=10 $ 으로 추정하여 성능이 열 劣하다.
• 정치 블로그 데이터셋에서는 SPUR이 $ r=3 $ 으로 추정하여 진짜 값과 일치하지만, BH와 USVT는 $ r $ 를 과대 추정하고 CMM는 과소 추정한다.
• 합성 실험에서 $ r $ 가 4에서 20으로 증가함에 따라 성능 저하가 느리게 발생하며, 클러스터 복잡도 증가 상황에서도 경쟁 기법들을 능가하는 정확도 유지 능력을 보였다.