[论文解读] An $\ell_{\infty}$ Eigenvector Perturbation Bound and Its Application to Robust Covariance Estimation

Jianqing Fan, Wei-Chen Wang+1 more|arXiv (Cornell University)|Mar 11, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用 17

一句话总结

该论文为低秩、非一致矩阵建立了新型 $ε_{ ext{∞}}$ 特征向量扰动界，相较于经典的 $Ø_{2}$ 界，实现了 $√{d_1}$ 或 $√{d_2}$ 的改进。该结果使得在重尾分布下能够实现更紧密的鲁棒协方差估计，从而提出具有更优渐近性质和强大有限样本性能的新估计器。

ABSTRACT

In statistics and machine learning, people are often interested in the eigenvectors (or singular vectors) of certain matrices (e.g. covariance matrices, data matrices, etc). However, those matrices are usually perturbed by noises or statistical errors, either from random sampling or structural patterns. One usually employs Davis-Kahan $\sin θ$ theorem to bound the difference between the eigenvectors of a matrix $A$ and those of a perturbed matrix $\widetilde{A} = A + E$, in terms of $\ell_2$ norm. In this paper, we prove that when $A$ is a low-rank and incoherent matrix, the $\ell_{\infty}$ norm perturbation bound of singular vectors (or eigenvectors in the symmetric case) is smaller by a factor of $\sqrt{d_1}$ or $\sqrt{d_2}$ for left and right vectors, where $d_1$ and $d_2$ are the matrix dimensions. The power of this new perturbation result is shown in robust covariance estimation, particularly when random variables have heavy tails. There, we propose new robust covariance estimators and establish their asymptotic properties using the newly developed perturbation bound. Our theoretical results are verified through extensive numerical experiments.

研究动机与目标

• 解决现有特征向量扰动界依赖于 $Ø_{2}$ 范数的局限性，后者在高维、低秩矩阵问题中可能次优。
• 在低秩且非一致矩阵的假设下，推导出奇异向量在 $ε_{\infty}$ 范数下的更紧扰动界。
• 将新界应用于重尾分布下的鲁棒协方差估计，其中经典方法失效。
• 提出具有更优理论与实证性能的新鲁棒协方差估计器。

提出的方法

• 在低秩与非一致假设下，推导出奇异向量在 $ε_{\infty}$ 范数下的新型 $ε_{\infty}$ 扰动界，显示相较于标准 $Ø_{2}$ 界具有 $√{d_1}$ 或 $√{d_2}$ 的因子改进。
• 定义一个缩放后的扰动度量 $\tau_0 = \max\{\sqrt{d_2/d_1}\|E\|_1, \sqrt{d_1/d_2}\|E\|_\infty\}$，以捕捉矩阵分解中的稀疏性与噪声。
• 利用矩阵扰动理论与谱范数分析，以 $ε_{\infty}$ 范数界定向量真实与扰动奇异向量之间的差异。
• 利用 $ε_{\infty}$ 界建立新鲁棒协方差估计器的渐近正态性与收敛速率。
• 将该界应用于近似因子模型与鲁棒主成分分析，展示其在有限样本下的性能提升。

实验结果

研究问题

• RQ1 相较于现有基于 $Ø_{2}$ 的结果，能否为低秩、非一致矩阵导出更紧的 $ε_{\infty}$ 特征向量扰动界？
• RQ2 改进后的 $ε_{\infty}$ 界是否能在重尾分布下的有限样本鲁棒协方差估计中带来更好的性能？
• RQ3 新界能否用于建立鲁棒协方差估计器的渐近正态性与收敛速率？
• RQ4 在矩阵维度 $d_1$ 与 $d_2$ 的尺度下，$ε_{\infty}$ 界与经典 $Ø_{2}$ 界相比有何差异？
• RQ5 非一致性和特征值间隙在确保新扰动界的有效性与紧致性方面起到何种作用？

主要发现

• 在低秩与非一致假设下，$ε_{\infty}$ 奇异向量扰动界相较于经典 $Ø_{2}$ 界，改进了 $\sqrt{d_1}$ 或 $\sqrt{d_2}$ 的因子。
• 该界通过一个缩放扰动度量 $\tau_0$ 推导得出，该度量考虑了稀疏性与噪声，并在许多情况下与谱范数相当。
• 新界使得能够构造出在重尾分布下实现渐近正态性与最优收敛速率的鲁棒协方差估计器。
• 数值实验表明，所提出的估计器在有限样本下优于经典方法，尤其是在重尾数据下表现更优。
• 当特征值间隙 $\gamma_0$ 远离零且非一致性 $\mu_0$ 受控时，该界是紧致的。
• 该方法证明了有界非一致性 $\mu(V)$ 等价于因子载荷 $\|B\|_{\max}$ 的有界性，从而将结构假设与统计性质联系起来。