[论文解读] Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding Walks

Jingqiu Ding, Samuel B. Hopkins+1 more|arXiv (Cornell University)|Aug 31, 2020

Random Matrices and Applications参考文献 26被引用 8

一句话总结

本文提出一种基于自避行走的多项式时间估计器，用于从受重尾噪声污染的对称矩阵中恢复秩一尖刺，传统PCA在此类情况下失效。该方法在噪声高阶矩无界时，仍能实现最优统计性能——与尖刺保持非平凡相关性，直至BBP阈值，通过着色技术高效计数行走路径。

ABSTRACT

We study symmetric spiked matrix models with respect to a general class of noise distributions. Given a rank-1 deformation of a random noise matrix, whose entries are independently distributed with zero mean and unit variance, the goal is to estimate the rank-1 part. For the case of Gaussian noise, the top eigenvector of the given matrix is a widely-studied estimator known to achieve optimal statistical guarantees, e.g., in the sense of the celebrated BBP phase transition. However, this estimator can fail completely for heavy-tailed noise. In this work, we exhibit an estimator that works for heavy-tailed noise up to the BBP threshold that is optimal even for Gaussian noise. We give a non-asymptotic analysis of our estimator which relies only on the variance of each entry remaining constant as the size of the matrix grows: higher moments may grow arbitrarily fast or even fail to exist. Previously, it was only known how to achieve these guarantees if higher-order moments of the noises are bounded by a constant independent of the size of the matrix. Our estimator can be evaluated in polynomial time by counting self-avoiding walks via a color -coding technique. Moreover, we extend our estimator to spiked tensor models and establish analogous results.

研究动机与目标

• 解决标准PCA在噪声具有重尾分布或矩无界时无法恢复秩一尖刺的问题。
• 在仅需噪声项单位方差的最小假设下，开发一种保持最优统计性能的高效算法。
• 即使信噪比接近BBP阈值，仍能与真实尖刺向量保持非平凡相关性。
• 将该方法扩展至张量模型，并为高阶尖刺张量模型建立类似的恢复保证。

提出的方法

• 基于在n个顶点上的完全图中进行的自避行走，构建一个ℓ次多项式估计器，替代PCA中使用的标准幂迭代。
• 利用着色技术高效计数长度为ℓ的自避行走，从而实现估计器的多项式时间计算。
• 定义一个矩阵值多项式 p(Y, c₁,…,c_C)，聚合在随机着色下由表示自避行走的超图所贡献的项。
• 对 O(exp(ℓv)) 种随机着色取平均，获得对尖刺方向的鲁棒估计，确保在弱矩假设下的集中性。
• 利用估计器的结构，界定其与真实尖刺 xxᵀ 的内积，在 λ√n ≥ 1+δ 时实现非平凡相关性。
• 应用幂方法提取估计矩阵的主特征向量，从而得到一种计算高效的恢复算法。

实验结果

研究问题

• RQ1 当PCA因矩无界而失效时，是否存在一种计算高效的估计器，可从重尾噪声中恢复秩一尖刺？
• RQ2 在单位方差之外，噪声分布的最小统计假设是什么，仍能保证尖刺的稳定恢复？
• RQ3 基于自避行走的估计器是否能在重尾噪声下实现与高斯情况下PCA相同的统计阈值（BBP相变）？
• RQ4 如何将该估计器扩展至高阶张量模型，同时保持统计与计算效率？

主要发现

• 当 λ√n ≥ 1+δ 时，所提估计器与真实尖刺向量 x 的相关性达到非平凡水平，匹配恢复的信息论阈值。
• 即使噪声项的五阶或更高阶矩以任意快速速度增长或不存在，该估计器仍保持最优统计保证。
• 当 v 为常数时，算法运行时间在 O(n^{2pv}) 内，通过着色技术高效计数自避行走。
• 当 λ√n → ∞ 时，估计器与真实尖刺的相关性趋近于1，与高斯噪声下PCA的性能一致。
• 该方法可推广至尖刺张量模型，在类似假设下仍保持类似的恢复保证。
• 与截断方法相比，该估计器对对抗性噪声分布具有鲁棒性，后者可能灾难性地失效。