[논문 리뷰] Limit theorems for eigenvectors of the normalized Laplacian for random graphs

Minh Tang, Carey E. Priebe|arXiv (Cornell University)|2016. 07. 28.

Random Matrices and Applications참고 문헌 40인용 수 5

한 줄 요약

이 논문은 무작위 도트 곱 그래프와 스토케스틱 블록모델 그래프에서 정규화된 라플라시안 행렬의 고유벡터에 대한 중심극한정리들을 수립하며, 스펙트럴 임bedding이 블록 소속에 따라 달라지는 다변량 정규분포로 수렴함을 보여준다. 스펙트럴 임베딩의 성능을 비교하기 위해 체르노프 정보를 사용하여, 블록 복구에 있어 인접행렬 임베딩과 정규화된 라플라시안 임베딩 간에 명백한 우월성이 없음을 밝혀냈다.

ABSTRACT

We prove a central limit theorem for the components of the eigenvectors corresponding to the $d$ largest eigenvalues of the normalized Laplacian matrix of a finite dimensional random dot product graph. As a corollary, we show that for stochastic blockmodel graphs, the rows of the spectral embedding of the normalized Laplacian converge to multivariate normals and furthermore the mean and the covariance matrix of each row are functions of the associated vertex's block membership. Together with prior results for the eigenvectors of the adjacency matrix, we then compare, via the Chernoff information between multivariate normal distributions, how the choice of embedding method impacts subsequent inference. We demonstrate that neither embedding method dominates with respect to the inference task of recovering the latent block assignments.

연구 동기 및 목표

• 그래프 추론을 위한 인접행렬과 정규화된 라플라시안 스펙트럴 임베딩 간의 원칙적인 비교 부족 문제를 해결한다.
• 유한차원 무작위 도트 곱 그래프에서 정규화된 라플라시안 행렬의 고유벡터에 대한 분포적 점근 이론을 개발한다.
• 스펙트럴 임베딩의 점근적 분포를 다변량 정규분포 근사로 특성화하여 스토케스틱 블록모델 그래프에서 기술한다.
• 클러스터링 알고리즘에 종속되지 않는 모델에 관계없이 임베딩 방법을 비교할 수 있는 체르노프 정보를 제안한다.
• 스펙트럴 임베딩을 이용한 잠재 블록 할당 복구의 최적 오차율 측면에서 한 가지 임베딩 방법이 다른 방법을 우월하게 하는지 평가한다.

제안 방법

• 유한차원 무작위 도트 곱 그래프에서 정규화된 라플라시안 행렬의 고유벡터에 대한 중심극한정리를 유도한다.
• 블록 소속 조건 하에서, 정규화된 라플라시안의 스케일링된 고유벡터가 정점 수가 증가함에 따라 다변량 정규분포로 수렴함을 입증한다.
• 다변량 정규분포 간의 체르노프 정보를 사용하여 블록 조건부 분포의 통계적 구분 가능성 정도를 정량화한다.
• 인접행렬과 정규화된 라플라시안 스펙트럴 임베딩의 체르노프 정보를 비교하여 잠재 블록 복구 성능을 평가한다.
• 고유벡터의 점근적 정규성을 활용하여, 블록 소속에 따라 함수적으로 표현되는 스펙트럴 임베딩의 평균 및 공분산 행렬을 계산한다.
• 고유벡터의 점근적 공분산 행렬을 유도한 극한정리로부터 체르노프 정보를 수식적으로 구성한다.

실험 결과

연구 질문

• RQ1 스펙트럴 블록모델 그래프에서 정규화된 라플라시안 행렬의 고유벡터는 정점 수가 증가함에 따라 다변량 정규분포로 수렴하는가?
• RQ2 스펙트럴 임베딩 행렬의 각 행의 평균과 공분산은 정점의 잠재 블록 소속에 어떻게 의존하는가?
• RQ3 스펙트럴 임베딩을 사용한 블록 할당 복구의 점근적 최적 오차율은 무엇인가?
• RQ4 블록 복구를 위해 정규화된 라플라시안 임베딩이 인접행렬 임베딩보다 더 낮은 최적 오차율을 제공하는가?
• RQ5 블록 식별을 위한 체르노프 정보 측면에서 어떤 임베딩 방법이 우월한가?

주요 결과

• 스펙트럴 블록모델 그래프에서 정규화된 라플라시안 행렬의 고유벡터는 정점 수가 증가함에 따라 분포 수렴하여 다변량 정규분포로 수렴한다.
• 각 임베딩 정점 행의 평균과 공분산 행렬은 블록 소속에 따라 함수적으로 표현되며, 이는 임베딩 분포의 매개변수화 기반 특성화를 가능하게 한다.
• 스펙트럴 임베딩의 블록 조건부 분포 간의 체르노프 정보는 블록 복구의 최소 달성 가능한 오차율을 정량화한다.
• 이중 블록 스토케스틱 블록모델에서, 정규화된 라플라시안 임베딩이 인접행렬 임베딩을 항상 우월하게 하지는 않는다.
• 모델 매개변수의 다양한 영역에서 한 가지 임베딩 방법이 다른 방법보다 최적 오차율이 엄격히 낮지 않으며, 이는 성능 간의 상호 보완적 트레이드오프가 있음을 시사한다.
• 이전의 인접행렬 임베딩 연구를 확장하여, 정규화된 라플라시안에 대해 비교 가능한 극한 이론과 비교 프레임워크를 제공한다.