[논문 리뷰] The Highest Dimensional Stochastic Blockmodel with a Regularized Estimator

Karl Rohe, Tai Qin외 1명|arXiv (Cornell University)|2012. 06. 11.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 8

한 줄 요약

이 논문은 블록 수 $K$가 $N/\log^5 N$ 비례하도록 증가하는 가장 높은 차원의 스토하스틱 블록모형을 제안한다. 이는 이론적 한계인 $K \leq N$ 에 가까워진다. 네트워크 과학과 인류학에서의 경험적 통찰을 활용한 정규화된 최대우도推定기(Regularized Maximum Likelihood Estimator)를 제안하며, 온건한 조건 하에서 잘못 클러스터링된 노드의 비율이 0으로 수렴함을 증명한다. 이는 파rametric 네트워크 모형에서 정규화의 일致성 결과를 처음으로 확립한 것이다.

ABSTRACT

In the high dimensional Stochastic Blockmodel for a random network, the number of clusters (or blocks) K grows with the number of nodes N. Two previous studies have examined the statistical estimation performance of spectral clustering and the maximum likelihood estimator under the high dimensional model; neither of these results allow K to grow faster than N^{1/2}. We study a model where, ignoring log terms, K can grow proportionally to N. Since the number of clusters must be smaller than the number of nodes, no reasonable model allows K to grow faster; thus, our asymptotic results are the "highest" dimensional. To push the asymptotic setting to this extreme, we make additional assumptions that are motivated by empirical observations in physical anthropology (Dunbar, 1992), and an in depth study of massive empirical networks (Leskovec et al 2008). Furthermore, we develop a regularized maximum likelihood estimator that leverages these insights and we prove that, under certain conditions, the proportion of nodes that the regularized estimator misclusters converges to zero. This is the first paper to explicitly introduce and demonstrate the advantages of statistical regularization in a parametric form for network analysis.

연구 동기 및 목표

• 블록 수 $K$가 $N$ 에 비례하여 증가하는 스토하스틱 블록모형에 대한 통계적 프레임워크를 개발하는 것.
• 블록 크기가 유한하게 유지되어야 한다는 경험적 통찰(예: Dunbar의 수)과 대규모 네트워크 연구(Leskovec 등)를 통합하는 것.
• 고차원 설정에서 추정 정확도를 향상시키기 위해 정규화된 최대우도推정기(RMLE)를 설계하는 것.
• 정규화된 추정기가 일치성을 확보함을 증명하며, $N \to \infty$ 일 때 잘못 클러스터링된 노드의 비율이 0으로 수렴함을 보이는 것.

제안 방법

• 블록 크기가 천천히 증가하고 Dunbar의 수 이내에 머무르도록 보장하기 위해 $K = N \log^{-5} N$ 인 고차원 점점 증가하는 설정을 도입한다.
• 노드 쌍 $(i,j)$ 가 잘못 클러스터링되었지만 공통된 이웃 $k$ 를 갖고, 그 연결 패턴이 다를 경우를 식별하여 정교화된 분할 $\Pi^{*}$ 를 정의한다.
• 블록 간 쌍을 별도의 그룹으로 간주하여 추정을 안정화시키기 위해 정규화된 분할 $\Pi^{zR}$ 을 구성한다.
• 연결 패턴의 분산 $D(P_{ik} \| \frac{P_{ik}+P_{jk}}{2})$ 가 $MK/N^2$ 에 비례하는 임계값을 초과하는 삼중항 $(i,j,k)$ 의 집합 $T$ 를 사용하여 $\Pi^{zR}$ 에 대한 정교화 과정을 적용한다.
• 오차율을 $N_e(\hat{z}^R)/N = o_p(1)$ 으로 유계화하기 위해 로그우도 차이 $\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R)$ 를 사용한다.
• 삼중항 기반 정교화를 통해 정규화된 추정기가 비정규화된 것보다 오차를 통제적으로 감소시켜 성능을 향상시킴을 보여주는 추론을 활용한다.

실험 결과

연구 질문

• RQ1 블록 수 $K$ 가 $N/\log^5 N$ 에 비례하여 증가할 때, 이론적 최대에 가까운 상황에서 스토하스틱 블록모형을 일관되게 추정할 수 있는가?
• RQ2 고차원 스토하스틱 블록모형에서 $K$ 가 $N$ 과 함께 증가할 때 정규화가 추정 성능을 어떻게 향상시킬 수 있는가?
• RQ3 경험적 네트워크 데이터에서의 구조적 가정(예: 블록 크기가 유한함)을 어떻게 모델에 공식적으로 통합하여 일관성을 확보할 수 있는가?
• RQ4 $N \to \infty$ 의 극한에서 이러한 극도로 고차원적인 설정에서 정규화된 최대우도 추정기가 일관성을 달성할 수 있는가?

주요 결과

• 정규화된 최대우도 추정기는 일관성을 확보하며, $N \to \infty$ 일 때 잘못 클러스터링된 노드의 비율이 확률적으로 0으로 수렴한다.
• 점점 증가하는 설정에서 $K = N \log^{-5} N$ 가 가능하여, $K > N$ 가 불가능해지는 이전까지의 최고 성장률을 제공한다.
• 오차율은 로그우도 차이를 통해 유계화된다: $\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R) = \Omega(M) \cdot \frac{N_e(\hat{z}^R)}{N}$ 로 이어져 $N_e(\hat{z}^R)/N = o_p(1)$ 이다.
• 삼중항 $(i,j,k) \in T$ 를 기반으로 한 정교화 과정은 연결 패턴이 다름을 보이는 노드들을 분리함으로써 클러스터링 정확도를 향상시킨다.
• 정규화된 분할 $\Pi^{zR}$ 은 블록 간 쌍을 별도의 그룹으로 간주하여 우도를 안정화시키고, 고차원 성장 조건 하에서도 일관성을 가능하게 한다.
• 이 논문은 파arametric 네트워크 모형에서 통계적 정규화의 이점을 명시적으로 보여주는 최초의 논문이며, 고차원 네트워크 클러스터링을 위한 새로운 이론적 기반을 마련한다.