[论文解读] Fast and Simple PCA via Convex Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|Sep 18, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 61

一句话总结

本文提出了一种新颖的凸优化框架，通过将主特征向量的计算转化为求解少量条件良好的凸问题，实现了快速且简单的PCA。其运行时间达到当前最优水平：在ε-近似对齐主特征向量时为Õ(d/δ² + N)，在ε-近似最大化瑞利商时为Õ(d/ε²)，在关键参数区域中优于以往方法。

ABSTRACT

The problem of principle component analysis (PCA) is traditionally solved by spectral or algebraic methods. We show how computing the leading principal component could be reduced to solving a extit{small} number of well-conditioned {\it convex} optimization problems. This gives rise to a new efficient method for PCA based on recent advances in stochastic methods for convex optimization. In particular we show that given a $d imes d$ matrix $\X = \frac{1}{n}\sum_{i=1}^n\x_i\x_i^{ op}$ with top eigenvector $\u$ and top eigenvalue $λ_1$ it is possible to: \begin{itemize} \item compute a unit vector $\w$ such that $(\w^{ op}\u)^2 \geq 1-ε$ in $ ilde{O}\left({\frac{d}{δ^2}+N} ight)$ time, where $δ= λ_1 - λ_2$ and $N$ is the total number of non-zero entries in $\x_1,...,\x_n$, \item compute a unit vector $\w$ such that $\w^{ op}\X\w \geq λ_1-ε$ in $ ilde{O}(d/ε^2)$ time. \end{itemize} To the best of our knowledge, these bounds are the fastest to date for a wide regime of parameters. These results could be further accelerated when $δ$ (in the first case) and $ε$ (in the second case) are smaller than $\sqrt{d/N}$.

研究动机与目标

• 解决传统PCA方法因需要完整SVD或矩阵分解而导致O(nd² + d³)时间复杂度的计算低效问题。
• 克服幂法和Lanczos等迭代方法的局限性，这些方法严重依赖谱间隙δ，并需要对数据进行多次遍历。
• 开发一种方法，结合每次迭代的线性时间复杂度与仅对数据进行对数次遍历，实现更快的收敛速度。
• 通过将问题转化为求解条件良好的凸优化问题，实现大规模机器学习中更快的PCA计算。
• 在δ或ε相对于数据规模N较小的区域，实现优于以往随机PCA算法的运行时间。

提出的方法

• 将PCA问题转化为求解对数规模数量的条件良好、无约束、光滑且强凸的优化问题。
• 利用近期在随机凸优化方面的进展，特别是方差减少技术，以高效求解这些子问题。
• 采用一种随机梯度采样方法，其中每个梯度从数据向量的加权分布中抽取，相比均匀采样可提升收敛速度。
• 应用一种改进的随机次梯度方法，结合自适应步长和动量，以最小化正则化瑞利商。
• 引入一种热启动策略，通过凸松弛技术启动优化过程，避免昂贵的初始化。
• 通过将原始非凸PCA问题转化为一系列条件良好的凸子问题，确保数值稳定性和收敛性。

实验结果

研究问题

• RQ1 能否将主成分计算重新表述为一系列凸优化问题，以实现更快的收敛？
• RQ2 在PCA近似中，运行时间方面谱间隙δ与数据规模N之间的最优权衡是什么？
• RQ3 在δ较小时，凸优化技术能否在运行时间上优于幂法或Lanczos等迭代非凸方法？
• RQ4 在随机梯度中使用加权采样如何影响PCA中的收敛速度和近似质量？
• RQ5 所提出的方法能否集成到现有的亚线性时间SDP求解器中，以加速其性能？

主要发现

• 所提方法在Õ(d/δ² + N)时间内计算出单位向量w，使得(wᵀu)² ≥ 1−ε，其中δ = λ₁ − λ₂为谱间隙。
• 在最大化瑞利商时，方法在Õ(d/ε²)时间内实现wᵀXw ≥ λ₁ − ε，且与谱间隙无关。
• 这些边界优于目前已知的最佳结果，尤其在δ较小或ε相对于√(d/N)较大的情况下。
• 即使没有热启动，该方法在最坏情况下也优于Shamir的随机PCA算法，因其对δ和ε的依赖性更优。
• 该框架通过用新PCA方法替换子线性时间SDP求解器中的特征值计算步骤，实现了加速，将运行时间降低至Õ(1/ε² (mF² + min{S/ε², N/√ε}))。
• 理论分析证实，该方法在高概率(1−p)下保证ε-近似，且对迭代次数和步长选择提供了明确的边界。