[论文解读] A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate

Ohad Shamir|arXiv (Cornell University)|Sep 9, 2014

Stochastic Gradient Optimization Techniques参考文献 12被引用 31

一句话总结

本文提出 VR-PCA，一种用于主成分分析（PCA）和奇异值分解（SVD）的随机算法，通过利用方差减少的随机梯度下降，实现指数级收敛。与以往方法不同，该方法在保持低每轮计算成本的同时，实现了与精度的对数依赖关系，并避免了数据规模与特征值间隙乘积的影响，从而在有界数据范数条件下实现运行时间 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$。

ABSTRACT

We describe and analyze a simple algorithm for principal component analysis and singular value decomposition, VR-PCA, which uses computationally cheap stochastic iterations, yet converges exponentially fast to the optimal solution. In contrast, existing algorithms suffer either from slow convergence, or computationally intensive iterations whose runtime scales with the data size. The algorithm builds on a recent variance-reduced stochastic gradient technique, which was previously analyzed for strongly convex optimization, whereas here we apply it to an inherently non-convex problem, using a very different analysis.

研究动机与目标

• 解决传统 PCA/SVD 方法在数据规模增大时计算效率低下的问题。
• 克服标准随机算法收敛速度慢的问题，其收敛速度与精度倒数呈线性关系。
• 开发一种方法，在保持低每轮计算成本的同时，实现高精度解的指数级收敛速率。
• 将此前仅适用于强凸问题的方差减少随机优化技术，拓展至非凸 PCA 问题。
• 提供一种运行时间分析，使其随数据规模与特征值间隙平方倒数之和增长，而非其乘积。

提出的方法

• 该算法采用适用于非凸 PCA 问题的方差减少随机梯度方法，具体为在 $\|\mathbf{w}\|_2 = 1$ 约束下最小化 $-\mathbf{w}^\top (\frac{1}{n}\sum_{i=1}^n \mathbf{x}_i\mathbf{x}_i^\top)\mathbf{w}$。
• 采用基于轮次的结构：每个轮次包含 $m$ 次迭代，且在每个轮次开始时计算一次完整梯度以降低方差。
• 更新规则基于随机采样的数据向量 $\mathbf{x}_i$ 的随机梯度，并结合控制变量以减少方差。
• 通过保持迭代向量的单位范数并使用步长 $\eta = \alpha\lambda$，确保收敛至主特征向量。
• 通过当前迭代向量与真实主特征向量之间夹角的余弦平方，对次优性进行概率分析。
• 分析利用了平方夹角 $\tilde{b}_t = 1 - \langle \tilde{\mathbf{w}}_t, \mathbf{v}_1 \rangle^2$ 的递推关系，证明其以高概率指数衰减。

实验结果

研究问题

• RQ1 尽管缺乏强凸性，方差减少的随机优化能否成功应用于非凸 PCA 问题？
• RQ2 它能否在每轮计算成本与数据规模无关的前提下，实现 PCA 中的指数收敛速率？
• RQ3 运行时间能否实现 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ 而非 $\mathcal{O}(d_s n \frac{1}{\lambda^p})$ 的增长？
• RQ4 运行时间中的 $\frac{1}{\lambda^2}$ 因子是否为必要项，或能否如强凸情形中那样改进为 $\frac{1}{\lambda}$？
• RQ5 当算法从远离最优解的位置初始化时，其行为如何？能否从随机初始化出发建立理论保证？

主要发现

• VR-PCA 算法以高概率实现对主特征向量的指数收敛，确保在 $T = \lceil \frac{\log(1/\epsilon)}{\log(1/\gamma)} \rceil$ 个轮次后满足 $1 - \langle \tilde{\mathbf{w}}_T, \mathbf{v}_1 \rangle^2 \leq \epsilon$。
• 运行时间为 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$，当 $\lambda$ 较小时优于确定性方法。
• 当 $\lambda \geq \Omega(1/\sqrt{n})$ 时，运行时间为 $\mathcal{O}(d_s n)$（对数因子内），与单次扫描数据量相当。
• 收敛性在有界数据范数下已证明；通过将 $\lambda$ 和 $\eta$ 按平方范数 $r$ 缩放，分析可推广至一般范数。
• 该方法要求每轮次至少 $m \geq \frac{c\log(2/\delta)}{\eta\lambda}$ 次迭代，且 $\eta \leq c\delta^2\lambda / r^2$，以在置信度 $1 - \delta$ 下实现收敛。
• 分析表明，$1/\lambda^2$ 因子可能无法进一步改进，尽管尚不清楚在该非凸设置下是否可实现 $1/\lambda$ 的依赖关系。