[논문 리뷰] Rates of Convergence of Spectral Methods for Graphon Estimation

Jiaming Xu|arXiv (Cornell University)|2017. 09. 10.

Complex Network Analysis Techniques인용 수 16

한 줄 요약

이 논문은 희박한 네트워크에서 그래폰 추정을 위한 일반화된 특이값 임계치 처리(USVT) 알고리즘을 분석하며, 스무스니스 지수 $\alpha$와 잠재 차원 $d$를 가진 허더 또는 소볼레프 스무스 그래폰의 경우 평균 제곱 오차가 $(n\rho)^{-2\alpha/(2\alpha+d)}$ 의 속도로 수렴함을 보여준다. 이 속도는 $\alpha$ 가 증가함에 따라 특히 $d=1$ 인 경우 최소 최대 최적 속도 $\log(n\rho)/(n\rho)$ 에 수렴하며, 해석적 그래폰의 경우 $\log^d(n\rho)/(n\rho)$ 의 속도를 달성한다.

ABSTRACT

This paper studies the problem of estimating the grahpon model - the underlying generating mechanism of a network. Graphon estimation arises in many applications such as predicting missing links in networks and learning user preferences in recommender systems. The graphon model deals with a random graph of $n$ vertices such that each pair of two vertices $i$ and $j$ are connected independently with probability $ρ imes f(x_i,x_j)$, where $x_i$ is the unknown $d$-dimensional label of vertex $i$, $f$ is an unknown symmetric function, and $ρ$ is a scaling parameter characterizing the graph sparsity. Recent studies have identified the minimax error rate of estimating the graphon from a single realization of the random graph. However, there exists a wide gap between the known error rates of computationally efficient estimation procedures and the minimax optimal error rate. Here we analyze a spectral method, namely universal singular value thresholding (USVT) algorithm, in the relatively sparse regime with the average vertex degree $nρ=Ω(\log n)$. When $f$ belongs to Hölder or Sobolev space with smoothness index $α$, we show the error rate of USVT is at most $(nρ)^{ -2 α/ (2α+d)}$, approaching the minimax optimal error rate $\log (nρ)/(nρ)$ for $d=1$ as $α$ increases. Furthermore, when $f$ is analytic, we show the error rate of USVT is at most $\log^d (nρ)/(nρ)$. In the special case of stochastic block model with $k$ blocks, the error rate of USVT is at most $k/(nρ)$, which is larger than the minimax optimal error rate by at most a multiplicative factor $k/\log k$. This coincides with the computational gap observed for community detection. A key step of our analysis is to derive the eigenvalue decaying rate of the edge probability matrix using piecewise polynomial approximations of the graphon function $f$.

연구 동기 및 목표

• 계산적으로 효율적인 그래폰 추정 방법과 최소 최대 최적 오차율 사이의 격차를 메우기 위해.
• 스parse한 상황에서 $n\rho = \Omega(\log n)$ 인 경우 유니버설 특이값 임계치 처리(USVT) 알고리즘의 수렴 속도를 분석하기 위해.
• 그래폰 함수 $f$ 가 스무스니스 지수 $\alpha$ 를 가진 허더 또는 소볼레프 공간에 속할 때 USVT의 오차율을 특성화하기 위해.
• 스토케스틱 블록 모델에서 $k$ 개의 블록을 가질 때 USVT의 성능을 분석하고 최소 최대 최적 속도와 비교하기 위해.
• 그래폰 함수 $f$ 의 조각다항식 근사에 의해 엣지 확률 행렬의 고유값 감쇠율을 유도하기 위해.

제안 방법

• 관측된 인접행렬 $A$ 의 일부 엣지 관측값으로부터 엣지 확률 행렬 $M$ 을 추정하기 위해 USVT 알고리즘을 적용한다.
• 관측된 인접행렬의 스펙트럼 분해를 통해 특이값 임계치를 이용해 $M$ 의 저랭크 구조를 추정한다.
• 기저 연산자 $\mathcal{T}$ 의 고유값 감쇠율을 도출하기 위해 그래폰 함수 $f$ 의 조각다항식 근사를 사용한다.
• 고유값 감쇠와 농도 부등식을 사용하여 추정 오차의 기대 제곱 프로베니우스 노름 $\mathbb{E}[\|M - \widehat{M}\|_F^2]$ 의 경계를 설정한다.
• 고유값 감쇠에 대한 이론적 결과를 적용하여 $f$ 에 대한 다양한 스무스니스 가정 하에서 USVT의 수렴 속도를 도출한다.
• 이론적 결과를 시뮬레이션을 통해 검증하며, 이동 불변성과 소볼레프 그래폰에 대해 예측된 속도와 일치하는 경향을 보였다. 이때 $\log(n\rho)$ 를 재스케일링한 후에도 일치함을 확인하였다.

실험 결과

연구 질문

• RQ1 스parse한 상황에서 $n\rho = \Omega(\log n)$ 인 경우 USVT 알고리즘의 그래폰 추정 수렴 속도는 무엇인가요?
• RQ2 그래폰 함수 $f$ 가 허더 또는 소볼레프 공간에 속할 때 USVT 오차율은 최소 최대 최적 속도에 얼마나 가까운가요?
• RQ3 스토케스틱 블록 모델에서 $k$ 개의 블록을 가질 때 USVT와 최소 최대 최적 속도 사이의 성능 격차는 무엇인가요?
• RQ4 그래폰 함수 $f$ 의 스무스니스는 USVT의 수렴 속도에 어떤 영향을 미치나요?
• RQ5 그래폰 함수 $f$ 의 조각다항식 근사를 통해 엣지 확률 행렬의 고유값 감쇠율을 엄밀하게 경계할 수 있는가요?

주요 결과

• 스무스니스 지수 $\alpha$ 와 잠재 차원 $d$ 를 가진 허더 또는 소볼레프 공간에 속하는 그래폰에 대해 USVT 오차율은 최대 $(n\rho)^{-2\alpha/(2\alpha+d)}$ 이다.
• 특히 $d=1$ 인 경우 이 속도는 $\alpha \to \infty$ 가 되면서 최소 최대 최적 속도 $\log(n\rho)/(n\rho)$ 에 수렴하며, 이는 스무스 함수에 대해 거의 최적임을 시사한다.
• 해석적 그래폰의 경우 USVT 오차율은 최대 $\log^d(n\rho)/(n\rho)$ 이며, 이는 스무스 영역에서 최소 최대 속도에 가까운 수준이다.
• 블록 수 $k$ 를 가진 스토케스틱 블록 모델에서 USVT 오차율은 최대 $k/(n\rho)$ 이며, 최소 최대 최적 속도 대비 승수 격차 $k/\log k$ 가 존재한다.
• 시뮬레이션 결과 이론적 속도가 확인되었으며, MSE 는 $\log(n\rho)$ 를 축으로 하여 로그-로그 스케일에서 기울기가 약 $3/4$ 인 직선으로 감소함을 보였고, 이는 $\alpha=1, d=1$ 인 경우 예측된 $(n\rho)^{-3/4}$ 속도와 일치한다.
• 조각다항식 근사를 통해 연산자 $\mathcal{T}$ 의 고유값 감쇠율이 엄밀하게 경계되었으며, 이는 USVT의 수렴 속도 유도에 기여하였다.