[논문 리뷰] Entrywise Eigenvector Analysis of Random Matrices with Low Expected Rank

Emmanuel Abbé, Jianqing Fan외 2명|arXiv (Cornell University)|2017. 09. 27.

Random Matrices and Applications참고 문헌 88인용 수 54

한 줄 요약

본 논문은 저랭크 기대값을 갖는 무작위 행렬의 고유벡터에 대한 엄밀한 엔트리별(이런식) 섭동 경계를 제시하고, 첫 차수 선형화 u_k ≈ A u_k^*/λ_k^* 를 보이며, 이를 SBM, 동기화, 행렬 완성에 적용하여 일반 스펙트럴 방법으로 정확한 복원 결과를 확립한다.

ABSTRACT

Recovering low-rank structures via eigenvector perturbation analysis is a common problem in statistical machine learning, such as in factor analysis, community detection, ranking, matrix completion, among others. While a large variety of bounds are available for average errors between empirical and population statistics of eigenvectors, few results are tight for entrywise analyses, which are critical for a number of problems such as community detection. This paper investigates entrywise behaviors of eigenvectors for a large class of random matrices whose expectations are low-rank, which helps settle the conjecture in Abbe et al. (2014b) that the spectral algorithm achieves exact recovery in the stochastic block model without any trimming or cleaning steps. The key is a first-order approximation of eigenvectors under the $\ell_\infty$ norm: $$u_k \approx \frac{A u_k^*}{λ_k^*},$$ where $\{u_k\}$ and $\{u_k^*\}$ are eigenvectors of a random matrix $A$ and its expectation $\mathbb{E} A$, respectively. The fact that the approximation is both tight and linear in $A$ facilitates sharp comparisons between $u_k$ and $u_k^*$. In particular, it allows for comparing the signs of $u_k$ and $u_k^*$ even if $\| u_k - u_k^*\|_{\infty}$ is large. The results are further extended to perturbations of eigenspaces, yielding new $\ell_\infty$-type bounds for synchronization ($\mathbb{Z}_2$-spiked Wigner model) and noisy matrix completion.

연구 동기 및 목표

• 평균 오차 경계를 넘는 고유벡터의 정밀한 엔트리별(l∞) 제어의 필요성을 제시한다.
• 모집단 고유벡터를 기준으로 한 일차 선형 섭동 표현을 개발한다.
• 엔트리별 근사들이 예리하고 정확한 복원 결과에 사용할 수 있는 일반적 조건을 확립한다.
• 이 이론을 확률적 블록 모델, 동기화, 노이즈가 있는 행렬 완성에 적용하여 정확한 복원과 강건성을 입증한다.

제안 방법

• 일차 근사 u_k ≈ A u_k^*/λ_k^* 를 도입하고 섭동을 선형항 Eu_k^*/λ_k^* 와 차수 높은 비선형 항으로 분할한다.
• 고유쌍(λ_j^*, u_j^*)를 갖는 A^*의 저랭크 구조를 정의하고, 섭동을 제어하는 고유갭 Δ^* 를 확립한다.
• A1–A4(incoherence, 행/열 독립성, 스펙트럴 노름 집중, 행 집중)을 가정하여 l-infinity 노름에서의 집중성 및 제어를 보장한다.
• 회전으로 맞추기 위해 행렬 부호 함수(matrix sign function)를 이용한 l_infinity 섭동 프레임워크를 개발한다(H 및 sgn(H)).
• 간단한 형태(정리 1.1)와 일반적인 고유공간 확장(정리 2.1)을 제공하여 u_k, U 및 l_infinity에서의 편차를 정량화한다.

실험 결과

연구 질문

• RQ1 저랭크 기대를 갖는 무작위 행렬의 고유벡터에 대해 엔트리별(l∞) 섭동 경계를 예리하게 얻을 수 있는가?
• RQ2 일차 선형화 u_k ≈ A u_k^*/λ_k^* 가 엔트리별 동작을 충분히 포착하여 SBM과 같은 모델에서 트림이나 클리닝 없이도 정확한 복원이 가능한가?
• RQ3 단일 고유벡터가 아니라 고유공간들에 대해 이러한 엔트리별 근사가 구조적 및 집중성 조건 하에서 성립하는가?
• RQ4 이 결과들이 동기화 및 노이즈가 있는 행렬 완성과 같은 응용에서 성능 보장을 어떻게 제공하는가?
• RQ5 제안된 섭동 프레임워크 하에서 MLE/SDP 보장과 일반 스펙트럴 방법 간의 관계는 무엇인가?

주요 결과

• SBM의 인접 행렬의 두 번째 고유벡터는 Au_2^*/λ_2^* 로 엔트리별로 잘 근사될 수 있으며 residual은 l_infinity에서 진짜 고유벡터의 항목들보다 작다.
• 완만한 조건하에서 ||u_k − Au_k^*/λ_k^*||_∞ 은 o_P(min_i |(u_k^*)_i|) = o_P(1/√n) 이다.
• 1차 항 Au_k^*/λ_k^* 가 엔트리별 섭동에서 지배적이며, SBM 영역에서의 MLE와 유사한 부호 복원 및 정확한 복원 결과를 가능하게 한다.
• 프레임워크가 고유공간의 섭동으로 확장되어 동기화(Z2-스파이크드 위그너) 및 노이즈가 있는 행렬 완성에 대한 새로운 l_infinity-유형 경계를 제공한다.
• Corollary 1.1은 MLE가 성공하는 경우, 명시된 영역에서 스펙트ral 추정기가 고확률로 MLE와 일치함을 보인다.
• 일련의 한 걸음(고차 승법 반복) 개선만으로도 실제에서 강한 엔트리별 정확성을 얻기에 충분하다고 보는 근거를 제공한다.