[논문 리뷰] Asymptotically efficient estimators for stochastic blockmodels: the naive MLE, the rank-constrained MLE, and the spectral

Minh Tang, Joshua Cape외 1명|arXiv (Cornell University)|2017. 10. 30.

Random Matrices and Applications참고 문헌 31인용 수 14

한 줄 요약

이 논문은 스토케스틱 블록모델에서 블록 확률행렬의 스펙트럴 임베딩 추정기의 점근적 정규성을 확립하며, 평균 차수의 증가 속도가 √n를 초과할 경우 점근적으로 효율적임을 보여준다. 진짜 블록 행렬 𝐁가 특이행렬일 경우, 스펙트럴 임베딩은 제약이 없는 최대우도추정기(MLE)를 능가하며, 𝐁의 질량을 알고 있는 오라클 MLE의 효율성에 가까워진다.

ABSTRACT

We establish asymptotic normality results for estimation of the block probability matrix $\mathbf{B}$ in stochastic blockmodel graphs using spectral embedding when the average degrees grows at the rate of $ω(\sqrt{n})$ in $n$, the number of vertices. As a corollary, we show that when $\mathbf{B}$ is of full-rank, estimates of $\mathbf{B}$ obtained from spectral embedding are asymptotically efficient. When $\mathbf{B}$ is singular the estimates obtained from spectral embedding can have smaller mean square error than those obtained from maximizing the log-likelihood under no rank assumption, and furthermore, can be almost as efficient as the true MLE that assume known $\mathrm{rk}(\mathbf{B})$. Our results indicate, in the context of stochastic blockmodel graphs, that spectral embedding is not just computationally tractable, but that the resulting estimates are also admissible, even when compared to the purportedly optimal but computationally intractable maximum likelihood estimation under no rank assumption.

연구 동기 및 목표

• 스펙트럴 임베딩, 랭크 제약이 있는 MLE, 그리고 단순 MLE를 포함한 세 가지 추정기의 블록 확률행렬 𝐁에 대한 점근적 성질을 분석한다.
• 스펙트럴 임베딩이 어떤 조건에서 점근적으로 효율적인 추정기를 제공하는지, 특히 𝐁가 특이행렬이거나 전순위일 경우를 중심으로 규명한다.
• 스펙트럴 임베딩의 평균제곱오차(MSE)를 제약이 없는 MLE와 진짜 랭크를 알고 있는 오라클 MLE와 비교한다.
• 스펙트럴 임베딩이 계산적으로 구현 가능할 뿐 아니라, 계산적으로 불가능한 최적의 추정기와 비교해도 통계적으로 허용 가능한지 증명한다.
• 스펙트럴 임베딩이 점근적 정규성과 제1차 효율성을 달성할 수 있는 조건을 도출한다. 이는 스토케스틱 블록모델 프레임워크 내에서 성립한다.

제안 방법

• 인접행렬 𝐀의 스펙트럴 임베딩을 통해 잠재적 위치를 추정한 후, 투영 또는 최소제곱법을 통해 블록 확률행렬 𝐁를 재구성한다.
• 점근적 랜덤 행렬 이론을 적용하여 스펙트럴 추정기의 수렴 속도를 ∥⋅∥₂→∞ 노름에서 유도하며, 어떤 직교행렬 W에 대해 ∥Û − UW∥₂→∞ = O_P(log^c n / (n√ρ_n))임을 보인다.
• 기대값 𝐏를 중심으로 인접행렬 𝐀의 편차를 분석하기 위해 편차 분석 기법을 사용하며, 해소법 전개와 행렬 노름의 경계를 활용해 오차 전파를 통제한다.
• 문헌 [21]의 보조정리 7.10을 활용하여 ∥(𝐀−𝐏)^k U∥₂→∞ 노름을 경계짓는다. 이때 고려되는 조건은 고유벡터가 국소화되지 않은 경우이며, ∥𝐮ⱼ∥∞ = O_P(n^{-1/2})임을 가정한다.
• nρ_n = ω(log^{2c} n) 조건 하에 스펙트럴 추정기의 점근적 정규성을 도출하며, 이 조건은 오차가 주요 항보다 더 빠르게 감쇠함을 보장한다.
• 제약이 없는 MLE와 진짜 랭크를 알고 있는 오라클 MLE의 점근적 분산을 비교하기 위해 점근적 효율성 이론을 적용한다.

실험 결과

연구 질문

• RQ1 블록 확률행렬 𝐁에 대한 스펙트럴 임베딩 추정기가 어떤 조건에서 점근적으로 정규분포를 띠는가?
• RQ2 𝐁가 특이행렬일 경우, 스펙트럴 임베딩의 평균제곱오차는 제약이 없는 MLE와 어떻게 비교되는가?
• RQ3 𝐁가 전순위일 경우, 스펙트럴 임베딩이 점근적으로 첫 번째 차수 효율성을 달성할 수 있는가? 이는 진짜 랭크를 알고 있는 오라클 MLE와 어떻게 비교되는가?
• RQ4 제약이 없는 MLE에 대한 이론적 최적해이지만 계산적으로 불가능한 추정기와 비교해 볼 때, 스펙트럴 임베딩은 통계적으로 허용 가능한가?
• RQ5 스펙트럴 추정기의 ∥⋅∥₂→∞ 노름에서의 수렴 속도는 얼마이며, 이는 𝐁 추정치의 점근적 분포에 어떤 영향을 미치는가?

주요 결과

• 평균 차수가 ω(√n) 속도로 증가할 경우, 스펙트럴 임베딩은 블록 확률행렬 𝐁에 대한 점근적 정규분포 추정을 제공한다.
• 𝐁가 전순위일 경우, 스펙트럴 추정기는 점근적으로 제1차 효율성을 달성하며, 진짜 랭크를 알고 있다는 조건에서의 오라클 MLE와 동일한 성능을 보인다.
• 𝐁가 특이행렬일 경우, 스펙트럴 추정기는 제약이 없는 MLE보다 더 작은 평균제곱오차를 가진다. 이는 랭크 제약이 없다고 가정하는 MLE와 대비된다.
• 스펙트럴 추정기는 진짜 랭크를 알고 있는 오라클 MLE와 거의 동일한 효율성을 달성한다. 이는 진짜 랭크를 알 필요 없이도 성능을 내기 때문이다.
• 스펙트럴 추정기의 ∥⋅∥₂→∞ 노름에서의 수렴 속도는 O_P(log^c n / (n√ρ_n))이며, 이는 nρ_n = ω(log^{2c} n) 조건 하에 점근적 정규성을 보장한다.
• 스펙트럴 임베딩은 계산적으로 실현 가능할 뿐 아니라, 점근적 효율성의 관점에서 통계적으로 최적의 성능을 보이며, 𝐁가 특이행렬일 경우 유한 표본에서도 이론적 최적 MLE를 능가하는 성능을 보인다.