[论文解读] Eigenvector Under Random Perturbation: A Nonasymptotic Rayleigh-Schrödinger Theory

Yiqiao Zhong|arXiv (Cornell University)|Feb 1, 2017

Random Matrices and Applications参考文献 19被引用 13

一句话总结

本文为随机矩阵扰动下的特征向量发展了一套非渐近的瑞利-施罗딩微扰理论，表明当 $ A $ 为厄米矩阵且 $ E $ 为具有独立、中心化次高斯分布的厄米随机矩阵时，对于所有 $ j > 1 $，内积 $ |\langle \widetilde{u}_1, u_j \rangle| $ 以高概率被控制在 $ O(\sqrt{\log n}/(\lambda_1 - \lambda_j)) $ 以内，即使在 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 的情况下也成立。该结果通过纳入所有特征值间隙而非仅第一个间隙，改进了戴维斯-卡汉定理。

ABSTRACT

Rayleigh-Schrödinger perturbation theory is a well-known theory in quantum mechanics and it offers useful characterization of eigenvectors of a perturbed matrix. Suppose $A$ and perturbation $E$ are both Hermitian matrices, $A^t = A + tE$, $\{λ_j\}_{j=1}^n$ are eigenvalues of $A$ in descending order, and $u_1, u^t_1$ are leading eigenvectors of $A$ and $A^t$. Rayleigh-Schrödinger theory shows asymptotically, $\langle u^t_1, u_j angle \propto t / (λ_1 - λ_j)$ where $ t = o(1)$. However, the asymptotic theory does not apply to larger $t$; in particular, it fails when $ t \| E \|_2 > λ_1 - λ_2$. In this paper, we present a nonasymptotic theory with $E$ being a random matrix. We prove that, when $t = 1$ and $E$ has independent and centered subgaussian entries above its diagonal, with high probability, \begin{equation*} | \langle u^1_1, u_j angle | = O(\sqrt{\log n} / (λ_1 - λ_j)), \end{equation*} for all $j>1$ simultaneously, under a condition on eigenvalues of $A$ that involves all gaps $λ_1 - λ_j$. This bound is valid, even in cases where $\| E \|_2 \gg λ_1 - λ_2$. The result is optimal, except for a log term. It also leads to an improvement of Davis-Kahan theorem.

研究动机与目标

• 发展一种适用于小扰动范围之外的瑞利-施罗丁格微扰理论的非渐近扩展。
• 表征厄米矩阵 $ A $ 在随机扰动 $ E $ 下的特征向量微扰 $ \widetilde{u}_1 $，尤其在 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 的情况下。
• 推导出依赖于所有特征值间隙 $ \lambda_1 - \lambda_j $（而非仅 $ \lambda_1 - \lambda_2 $）的 $ |\langle \widetilde{u}_1, u_j \rangle| $ 的高概率界。
• 通过将对第一个特征值间隙 $ \delta = \lambda_1 - \lambda_2 $ 的依赖替换为对所有间隙的更精细依赖，改进戴维斯-卡汉定理。

提出的方法

• 引入一种非渐近的特征向量微扰分析框架，通过研究当 $ E $ 为具有独立、中心化次高斯分布的厄米随机矩阵时，$ \widetilde{A} = A + E $ 的主特征向量 $ \widetilde{u}_1 $。
• 利用瑞利-施罗丁格级数进行微扰展开，但将其扩展至非渐近区域 $ t \to 0 $ 之外，延伸至 $ t = 1 $，并借助随机矩阵理论。
• 将扰动后的特征向量分解为 $ \widetilde{u}_1 = u_1 + U_{\bot} q^\infty $，其中 $ q^\infty $ 是涉及 $ E $ 的非对角块的投影特征值问题的解。
• 通过使用霍尔德不等式和随机矩阵条目上的尾部概率界，控制 $ q^\infty $ 的大小，结合对特征值间隙和次高斯范数的假设。
• 建立一个关键不等式，涉及 $ E_{11} + E_{12} q^\infty $，证明其以高概率小于 $ \delta/2 $，从而确保主特征值保持主导地位。
• 采用变分论证方法，限制候选向量的瑞利商，证明任何与 $ \widetilde{u}_1 $ 正交的单位向量的瑞利商不可能超过 $ \lambda_2 + \delta/2 $，从而确认 $ \widetilde{u}_1 $ 的主导性。

实验结果

研究问题

• RQ1 能否为随机矩阵扰动下的特征向量发展出瑞利-施罗丁格微扰理论的非渐近版本？
• RQ2 是否可能在 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 的情况下，对所有 $ j > 1 $ 统一有界 $ |\langle \widetilde{u}_1, u_j \rangle| $？
• RQ3 能否通过纳入所有特征值间隙 $ \lambda_1 - \lambda_j $（而非仅 $ \lambda_1 - \lambda_2 $）来改进戴维斯-卡汉定理？
• RQ4 在存在随机噪声的情况下，特征向量微扰对完整特征值谱的最优依赖关系是什么？

主要发现

• 以高概率，当 $ t = 1 $ 且 $ E $ 具有独立、中心化的次高斯分布时，对所有 $ j > 1 $，有 $ |\langle \widetilde{u}_1, u_j \rangle| = O(\sqrt{\log n}/(\lambda_1 - \lambda_j)) $，且该界一致成立。
• 即使在 $ \|E\|_2 \gg \lambda_1 - \lambda_2 $ 的情况下，该界依然有效，而经典渐近微扰理论在此区域已失效。
• 在给定假设下，该结果在对数因子范围内为最优，因为 $ \sqrt{\log n} $ 项无法被移除。
• 该分析导出了戴维斯-卡汉定理的一个改进版本，其依赖于所有特征值间隙 $ \lambda_1 - \lambda_j $，而非仅第一个间隙 $ \lambda_1 - \lambda_2 $。
• 证明表明，$ \widetilde{A} $ 的主特征值以高概率保持在 $ (\lambda_1 + \lambda_2)/2 $ 以上，从而确保 $ \widetilde{u}_1 $ 的主导性。
• 该方法成功地通过矩不等式和霍尔德不等式控制了投影特征值方程的解 $ q^\infty $，从而实现了对所有 $ j > 1 $ 的一致有界性。