[논문 리뷰] Eigenvector Under Random Perturbation: A Nonasymptotic Rayleigh-Schrödinger Theory

Yiqiao Zhong|arXiv (Cornell University)|2017. 02. 01.

Random Matrices and Applications참고 문헌 19인용 수 13

한 줄 요약

이 논문은 랜덤 행렬 편미분 하에서 고유벡터에 대한 비점근적 Rayleigh-Schrödinger 섭동 이론을 개발한다. $ A $ 가 헤르미트 행렬이고 $ E $ 가 대각선 상의 독립적이고 중심화된 서브가우시안 성분을 갖는 랜덤 헤르미트 행렬일 때, 모든 $ j > 1 $ 에 대해 내적 $ |\langle \widetilde{u}_1, u_j \rangle| $ 가 높은 확률로 $ O(\sqrt{\log n}/(\lambda_1 - \lambda_j)) $ 이하로 유계임을 보인다. 이는 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 인 경우에도 성립하며, 첫 번째 고유값 갭만 고려하는 Davis-Kahan 정리보다 개선된 결과이다.

ABSTRACT

Rayleigh-Schrödinger perturbation theory is a well-known theory in quantum mechanics and it offers useful characterization of eigenvectors of a perturbed matrix. Suppose $A$ and perturbation $E$ are both Hermitian matrices, $A^t = A + tE$, $\{λ_j\}_{j=1}^n$ are eigenvalues of $A$ in descending order, and $u_1, u^t_1$ are leading eigenvectors of $A$ and $A^t$. Rayleigh-Schrödinger theory shows asymptotically, $\langle u^t_1, u_j angle \propto t / (λ_1 - λ_j)$ where $ t = o(1)$. However, the asymptotic theory does not apply to larger $t$; in particular, it fails when $ t \| E \|_2 > λ_1 - λ_2$. In this paper, we present a nonasymptotic theory with $E$ being a random matrix. We prove that, when $t = 1$ and $E$ has independent and centered subgaussian entries above its diagonal, with high probability, \begin{equation*} | \langle u^1_1, u_j angle | = O(\sqrt{\log n} / (λ_1 - λ_j)), \end{equation*} for all $j>1$ simultaneously, under a condition on eigenvalues of $A$ that involves all gaps $λ_1 - λ_j$. This bound is valid, even in cases where $\| E \|_2 \gg λ_1 - λ_2$. The result is optimal, except for a log term. It also leads to an improvement of Davis-Kahan theorem.

연구 동기 및 목표

• 소규모 편미분 영역을 넘어선 비점근적 Rayleigh-Schrödinger 섭동 이론의 확장을 개발하기 위해.
• 특히 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 인 경우, 헤르미트 행렬 $ A $ 의 고유벡터 $ \widetilde{u}_1 $ 에 대한 랜덤 편미분 $ E $ 의 고유벡터 섭동을 특성화하기 위해.
• 모든 고유값 갭 $ \lambda_1 - \lambda_j $ 에 의존하는 $ |\langle \widetilde{u}_1, u_j \rangle| $ 에 대한 고확률적 유계를 도출하기 위해.
• 첫 번째 고유값 갭 $ \delta = \lambda_1 - \lambda_2 $ 에 대한 의존성을 제거하고, 모든 갭에 대한 보다 정교한 의존성으로 Davis-Kahan 정리를 개선하기 위해.

제안 방법

• 대각선 성분이 독립적이고 중심화된 서브가우시안 성분을 갖는 랜덤 헤르미트 행렬 $ E $ 를 고려할 때, $ \widetilde{A} = A + E $ 의 주요 고유벡터 $ \widetilde{u}_1 $ 을 분석함으로써 고유벡터 섭동에 대한 비점근적 프레임워크를 도입함.
• Rayleigh-Schrödinger 급수를 통한 섭동 전개를 사용하지만, $ t \to 0 $ 인 점근적 영역을 넘어 $ t = 1 $ 으로 확장하며, 랜덤 행렬 이론을 활용함.
• 편미분된 고유벡터를 $ \widetilde{u}_1 = u_1 + U_{\bot} q^\infty $ 로 분해함. 여기서 $ q^\infty $ 는 $ E $ 의 비대각선 블록을 포함한 투사된 고유값 문제의 해임.
• Hölder 부등식과 랜덤 행렬 성분의 尾확률 유계를 적용하여 $ q^\infty $ 의 크기를 제어함. 이때 고유값 갭과 서브가우시안 노름에 대한 가정을 활용함.
• 특히 $ E_{11} + E_{12} q^\infty $ 가 높은 확률로 $ \delta/2 $ 이하임을 보여주는 핵심 부등식을 확립함. 이는 주요 고유값이 여전히 지배적임을 보장함.
• 변분적 추론을 통해 후보 벡터의 Rayleigh 몫을 유계로 제한함. 이에 따라 $ \widetilde{u}_1 $ 와 수직인 단위 벡터는 Rayleigh 몫이 $ \lambda_2 + \delta/2 $ 를 초과할 수 없으며, 이는 $ \widetilde{u}_1 $ 의 지배성 확인에 기여함.

실험 결과

연구 질문

• RQ1 랜덤 행렬 편미분 하에서 고유벡터에 대한 비점근적 Rayleigh-Schrödinger 섭동 이론을 개발할 수 있는가?
• RQ2 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 인 경우에도 모든 $ j > 1 $ 에 대해 $ |\langle \widetilde{u}_1, u_j \rangle| $ 를 균일하게 유계로 제한할 수 있는가?
• RQ3 모든 고유값 갭 $ \lambda_1 - \lambda_j $ 에 대한 정보를 통합함으로써 Davis-Kahan 정리를 첫 번째 갭 $ \lambda_1 - \lambda_2 $ 에만 의존하는 것에서 개선할 수 있는가?
• RQ4 특히 랜덤 노이즈가 존재할 경우, 고유벡터 섭동의 최적의 스펙트럼 의존성은 무엇인가?

주요 결과

• 높은 확률로 $ t = 1 $ 이고 $ E $ 가 독립적이고 중심화된 서브가우시안 성분을 갖는 한, 모든 $ j > 1 $ 에 대해 $ |\langle \widetilde{u}_1, u_j \rangle| = O(\sqrt{\log n}/(\lambda_1 - \lambda_j)) $ 가 균일하게 성립함.
• 이 유계는 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 인 경우에도 유지되며, 이는 고전적인 점근적 섭동 이론이 실패하는 영역에서도 성립함.
• 제시된 가정 하에 $ \sqrt{\log n} $ 항을 제거할 수 없으므로, 결과는 로그 인자 외에는 최적임.
• 분석을 통해 첫 번째 고유값 갭 뿐 아니라 모든 고유값 갭 $ \lambda_1 - \lambda_j $ 에 의존하는 Davis-Kahan 정리의 개선된 형태를 도출함.
• 증명 과정에서 $ \widetilde{A} $ 의 주요 고유값이 높은 확률로 $ (\lambda_1 + \lambda_2)/2 $ 이상임을 보여, $ \widetilde{u}_1 $ 의 지배성 확보됨.
• 모멘트 유계와 Hölder 부등식을 활용하여 투사된 고유값 방정식의 해 $ q^\infty $ 를 성공적으로 제어함으로써, 모든 $ j > 1 $ 에 대해 균일한 유계를 확보함.