[论文解读] An Improved Gap-Dependency Analysis of the Noisy Power Method

Maria Florina Balcan, Simon S. Du+2 more|arXiv (Cornell University)|Feb 23, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用 15

一句话总结

本文提出了一种关于噪声功率法的新型分析，将其谱间隙依赖性从连续间隙 $(\sigma_k - \sigma_{k+1})$ 改进为 $(\sigma_k - \sigma_{q+1})$，其中 $q \geq k$ 是一个中间秩参数。该改进使得在通信、内存或隐私约束下进行PCA时收敛速度更快、抗噪能力更强，并在分布式私有PCA和流式PCA中实现了更优的样本复杂度边界。

ABSTRACT

We consider the noisy power method algorithm, which has wide applications in machine learning and statistics, especially those related to principal component analysis (PCA) under resource (communication, memory or privacy) constraints. Existing analysis of the noisy power method shows an unsatisfactory dependency over the "consecutive" spectral gap $(σ_k-σ_{k+1})$ of an input data matrix, which could be very small and hence limits the algorithm's applicability. In this paper, we present a new analysis of the noisy power method that achieves improved gap dependency for both sample complexity and noise tolerance bounds. More specifically, we improve the dependency over $(σ_k-σ_{k+1})$ to dependency over $(σ_k-σ_{q+1})$, where $q$ is an intermediate algorithm parameter and could be much larger than the target rank $k$. Our proofs are built upon a novel characterization of proximity between two subspaces that differ from canonical angle characterizations analyzed in previous works. Finally, we apply our improved bounds to distributed private PCA and memory-efficient streaming PCA and obtain bounds that are superior to existing results in the literature.

研究动机与目标

• 为解决当连续谱间隙 $(\sigma_k - \sigma_{k+1})$ 较小时噪声功率法收敛性差的问题，这是现实世界数据中的常见问题。
• 克服先前分析依赖于可能极小的 $(\sigma_k - \sigma_{k+1})$ 间隙的局限性，从而限制了其适用性。
• 为在噪声存在下分析子空间接近度提供一种新的理论框架，超越经典夹角的分析方法。
• 为下游应用（如分布式私有PCA和流式PCA）推导出改进的样本复杂度和抗噪能力边界。
• 在一定程度上解决先前工作中关于与间隙无关的误差边界和改进的间隙依赖性的开放猜想。

提出的方法

• 提出一种基于奇异值和投影几何的新型子空间接近度表征，替代基于经典夹角的分析方法。
• 在模型 $\mathbf{Y}_\ell = \mathbf{A}\mathbf{X}_{\ell-1} + \mathbf{G}_\ell$ 下分析噪声功率法，其中 $\mathbf{G}_\ell$ 为每次迭代中的噪声。
• 证明收敛性依赖于 $(\sigma_k - \sigma_{q+1})$ 而非 $(\sigma_k - \sigma_{k+1})$，其中 $k \leq q \leq p$，$p$ 为迭代矩阵的列数。
• 利用 [15] 中的技术，推导出近似误差 $\|\mathbf{A} - \mathbf{X}_L\mathbf{X}_L^\top\mathbf{A}\|_2$ 的与间隙无关的边界。
• 将改进的分析应用于流式PCA和分布式私有PCA，表明其具有更紧致的样本复杂度和更强的抗噪能力。
• 使用浓度不等式在 $(B,p)$-轮分布下界约束噪声矩阵 $\mathbf{G}_\ell$，确保高概率收敛。

实验结果

研究问题

• RQ1 噪声功率法的谱间隙依赖性是否可以超越连续间隙 $(\sigma_k - \sigma_{k+1})$？
• RQ2 是否可能为噪声功率法实现与间隙无关的近似误差边界？
• RQ3 能否利用改进的间隙依赖性提升分布式和私有PCA设置下的样本复杂度？
• RQ4 新型子空间接近度度量是否能提供比经典夹角更紧致的收敛保证？
• RQ5 该分析能否扩展以处理迭代PCA算法中的对抗性或随机噪声？

主要发现

• 本文在样本复杂度和抗噪能力方面，均将间隙依赖性从 $(\sigma_k - \sigma_{k+1})$ 改进为 $(\sigma_k - \sigma_{q+1})$，其中 $q \geq k$。
• 对于流式PCA，所需样本数减少至 $\widetilde{\Omega}\left(\frac{\sigma_k B^2 p \log^2 d}{(\sigma_k - \sigma_{q+1})^3 d \epsilon^2}\right)$，优于依赖于 $(\sigma_k - \sigma_{k+1})$ 的先前边界。
• 该分析首次提供了已知的、消除了对连续谱间隙 $(\sigma_k - \sigma_{k+1})$ 依赖性的噪声功率法边界。
• 作为副产品，推导出近似误差 $\|\mathbf{A} - \mathbf{X}_L\mathbf{X}_L^\top\mathbf{A}\|_2$ 的与间隙无关的边界，部分解决了 [10] 中的猜想。
• 改进的分析在分布式私有PCA和内存高效的流式PCA中带来了更优的效用保证，具有更紧致的样本复杂度和更强的抗噪能力。
• 新的子空间接近度表征使得在高维和病态条件设置下对噪声中收敛性的分析更具鲁棒性。