[논문 리뷰] Unified $\ell_{2 ightarrow\infty}$ Eigenspace Perturbation Theory for Symmetric Random Matrices

Lihua Lei|arXiv (Cornell University)|2019. 09. 11.

Random Matrices and Applications참고 문헌 67인용 수 16

한 줄 요약

이 논문은 독립 또는 종속된 성분을 가진 대칭 랜덤 행렬과 다재다능한 성분 분포를 갖는 데 대해 통합된 $β_{2\to\infty}$ 고유공간 섭동 이론을 개발한다. 이론은 바이너리 랜덤 행렬에 대해 날카럽고 정밀한 $β_{2\to\infty}$ 유계를 도출하여 기존의 유계들보다 날카롭고 고유값 갭 조건이 덜 엄격한 것을 보이며, 스펙트럼 노름 농도, 스토케스틱 블록 모델에서의 커뮤니티 복구, 분할 계층적 클러스터링의 부분 일致성 문제에 응용하여 최신 기술 수준의 성과를 달성한다.

ABSTRACT

Modern applications in statistics, computer science and network science have seen tremendous values of finer matrix spectral perturbation theory. In this paper, we derive a generic $\ell_{2 ightarrow\infty}$ eigenspace perturbation bound for symmetric random matrices, with independent or dependent entries and fairly flexible entry distributions. In particular, we apply our generic bound to binary random matrices with independent entries or with certain dependency structures, including the unnormalized Laplacian of inhomogenous random graphs and $m$-dependent matrices. Through a detailed comparison, we found that for binary random matrices with independent entries, our $\ell_{2 ightarrow\infty}$ bound is tighter than all existing bounds that we are aware of, while our condition is weaker than all but one of them in a less common regime. We apply our perturbation bounds in three problems and improve the state of the art: concentration of the spectral norm of sparse random graphs, exact recovery of communities in stochastic block models and partial consistency of divisive hierarchical clustering. Finally we discuss the extensions of our theory to random matrices with more complex dependency structures and non-binary entries, asymmetric rectangular matrices and induced perturbation theory in other metrics.

연구 동기 및 목표

• 독립 또는 종속된 성분과 다재다능한 분포를 갖는 대칭 랜덤 행렬에 적용 가능한 일반적인 $β_{2\to\infty}$ 고유공간 섭동 유계를 개발하는 것.
• 특히 날카로움과 더 낮은 고유값 갭 가정 조건 측면에서 기존의 바이너리 랜덤 행렬에 대한 $β_{2\to\infty}$ 유계를 향상시키는 것.
• 새로운 섭동 이론을 활용하여 스펙트럼 노름 농도, 스토케스틱 블록 모델에서의 정확한 커뮤니티 복구, 분할 계층적 클러스터링의 부분 일치성이라는 세 가지 핵심 문제에서 최신 기술 수준의 성과를 향상시키는 것.
• 현재 범위를 넘어서 비이진 성분, 비대칭 행렬, 기타 종속성 구조로 이론 프레임워크를 확장하는 것.

제안 방법

• 정규화된 경계와 확률적 농도 기법의 조합을 통해 일반적인 $β_{2\to\infty}$ 고유공간 섭동 유계를 유도한다.
• 고유벡터의 편차에 대한 결정론적 성분을 유계로 제한하기 위해 케이토의 적분 표현을 활용한다.
• 대각선 수술 기법을 적용하여 섭동 행렬 내의 대각선 성분의 영향을 줄여 유계를 향상시킨다.
• 고유공간의 조건수에 대한 의존성을 제거하기 위해 새로운 고유값 분할 기법을 도입한다.
• 이질적인 평균을 갖는 독립된 베르누이 랜덤 변수들의 합에 대한 농도 부등식을 적용하여 섭동 내의 확률적 오차를 제어한다.
• 기존의 결정론적 및 확률적 유계와의 상세한 비교를 통해 유계의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 일반적인 성분 분포와 종속성 구조를 갖는 대칭 랜덤 행렬에 대해 통합된 $β_{2\to\infty}$ 고유공간 섭동 유계를 도출할 수 있는가?
• RQ2 독립된 성분을 갖는 바이너리 랜덤 행렬에 대해 기존의 유계와 비교할 때 제안된 $β_{2\to\infty}$ 유계는 날카로움과 고유값 갭 요구 조건 측면에서 어떻게 다른가?
• RQ3 새로운 섭동 이론은 희박한 랜덤 그래프의 스펙트럼 노름 농도에 얼마나 향상된 영향을 미칠 수 있는가?
• RQ4 고정 또는 증가하는 커뮤니티 수를 갖는 스토케스틱 블록 모델에서 커뮤니티의 정확한 복구가 가능해지는가?
• RQ5 기존 연구보다 더 약한 가정 조건 하에서 분할 계층적 클러스터링의 부분 일치성은 이 프레임워크가 지원할 수 있는가?

주요 결과

• 제안된 $β_{2\to\infty}$ 유계는 독립된 성분을 갖는 모든 기존의 바이너리 랜덤 행렬에 대해 더 날카로운 것으로 밝혀졌으며, 상세한 비교를 통해 입증되었다.
• 이 유계가 요구하는 고유값 갭 조건은 기존의 대부분의 유계보다 더 약하며, 특히 갭이 작은 드문 경우에 뚜렷한 이점이 있다.
• 이론은 희박한 에르되시-레니 그래프의 스펙트럼 노름 농도를 향상시켜 밀도가 높은 영역을 넘어서는 결과를 도출한다.
• 고정된 $K$를 갖는 스토케스틱 블록 모델(SBMs)에서 커뮤니티의 정확한 복구가 가능하며, 높은 확률로 오류 없는 분류를 달성한다.
• 증가하는 $K$에 대해, 이론은 블록 두 개의 스파이크 스토케스틱 블록 모델(BTSBMs)에서 메가-커뮤니티의 정확한 복구를 확립한다.
• 이 프레임워크는 분할 계층적 클러스터링에서 클러스터링 트리의 단일 분할을 복구하기 위한 충분한 조건을 제공함으로써 부분 일치성을 지원한다.