[论文解读] Entrywise Eigenvector Analysis of Random Matrices with Low Expected Rank

Emmanuel Abbé, Jianqing Fan+2 more|arXiv (Cornell University)|Sep 27, 2017

Random Matrices and Applications参考文献 88被引用 54

一句话总结

本文为具有低秩期望的随机矩阵的特征向量开发了紧致的逐元扰动界限，给出一阶线性化 u_k ≈ A u_k^*/λ_k^*，并将其应用于 SBM、同步和矩阵补全，以建立使用普通谱方法的精确恢复结果。

ABSTRACT

Recovering low-rank structures via eigenvector perturbation analysis is a common problem in statistical machine learning, such as in factor analysis, community detection, ranking, matrix completion, among others. While a large variety of bounds are available for average errors between empirical and population statistics of eigenvectors, few results are tight for entrywise analyses, which are critical for a number of problems such as community detection. This paper investigates entrywise behaviors of eigenvectors for a large class of random matrices whose expectations are low-rank, which helps settle the conjecture in Abbe et al. (2014b) that the spectral algorithm achieves exact recovery in the stochastic block model without any trimming or cleaning steps. The key is a first-order approximation of eigenvectors under the $\ell_\infty$ norm: $$u_k \approx \frac{A u_k^*}{λ_k^*},$$ where $\{u_k\}$ and $\{u_k^*\}$ are eigenvectors of a random matrix $A$ and its expectation $\mathbb{E} A$, respectively. The fact that the approximation is both tight and linear in $A$ facilitates sharp comparisons between $u_k$ and $u_k^*$. In particular, it allows for comparing the signs of $u_k$ and $u_k^*$ even if $\| u_k - u_k^*\|_{\infty}$ is large. The results are further extended to perturbations of eigenspaces, yielding new $\ell_\infty$-type bounds for synchronization ($\mathbb{Z}_2$-spiked Wigner model) and noisy matrix completion.

研究动机与目标

• 动机：在平均误差界之外，推动对特征向量进行精确的逐元（l_infinity）控制的必要性。
• 发展一个关于特征向量的一阶、线性扰动表示，以母体特征向量表示。
• 建立一般条件，在这些条件下逐元近似是尖锐的且可用于精确恢复结果。
• 将理论应用于随机块模型、同步以及带噪声的矩阵补全，以展示精确恢复与鲁棒性。

提出的方法

• 引入一阶近似 u_k ≈ A u_k^*/λ_k^*，并将扰动分解为线性项 Eu_k^*/λ_k^* 与高阶非线性项。
• 给出具有特征对 (λ_j^*, u_j^*) 的低秩结构 A^*，并建立控制扰动的特征间隙 Δ^*。
• 施加 A1–A4（不相干性、行/列独立性、谱范数集中性、行集中性）以保证在 l_infinity 范数中的集中与控制。
• 开发一个基于 l_infinity 的扰动框架，使用矩阵符号函数将子空间对齐到旋转（H 与 sgn(H)）。
• 给出一个更简单的形式（定理1.1）以及对特征空间的通用扩展（定理2.1），用 l_infinity 量化 u_k、U 及其偏差。

实验结果

研究问题

• RQ1 我们能否获得具有低秩期望的随机矩阵特征向量的尖锐逐元（l_infinity）扰动界吗？
• RQ2 一阶线性化 u_k ≈ A u_k^*/λ_k^* 是否充分捕捉逐元行为，从而在像 SBM 这样的模型中无需修剪或清洗即可实现精确恢复？
• RQ3 在何种结构与集中条件下，这些逐元近似适用于特征空间（不仅仅是单个特征向量）？
• RQ4 这些结果如何转化为对同步与矩阵补全等应用的性能保证？
• RQ5 在所提扰动框架下，MLE/SDP 保证与普通谱方法之间的关系是什么？

主要发现

• 在 SBM 中，邻接矩阵的第二个特征向量可以很好地逐元近似为 Au_2^*/λ_2^*，其在 l_infinity 的残差小于真正特征向量的分量。
• 在温和条件下，||u_k − Au_k^*/λ_k^*||_∞ = o_P(min_i |(u_k^*)_i|) = o_P(1/√n)。
• 一阶项 Au_k^*/λ_k^* 主导逐元扰动，使符号恢复和与 SBM 情况下的最大似然估计（MLE）相当的精确恢复成为可能。
• 该框架扩展到特征空间的扰动，给出同步（Z2-尖峰 Wigner）和带噪声的矩阵补全的新型 l_infinity 类界。
• 引理1.1（Corollary 1.1）表明，在 MLE 成功时，在所述条件下，谱估计量与 MLE 的高概率一致，适用于 SBM。
• 该分析证明，在实践中仅需一次单步（幂迭代）改进即可达到强烈的逐元精度。