[论文解读] Exponentially convergent stochastic k-PCA without variance reduction

Cheng Tang|arXiv (Cornell University)|Apr 3, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用 9

一句话总结

本文提出了一种新型在线 $k$-PCA 算法——Matrix Krasulina，该算法将经典的 Krasulina 方法推广至矩阵设置。该方法在无需方差缩减的情况下实现了对真实主子空间的指数收敛，表明对于固有低秩数据，简单的随机梯度方法已足够，其在在线设置下的表现优于方差缩减的替代方法。

ABSTRACT

We present Matrix Krasulina, an algorithm for online k-PCA, by generalizing the classic Krasulina's method (Krasulina, 1969) from vector to matrix case. We show, both theoretically and empirically, that the algorithm naturally adapts to data low-rankness and converges exponentially fast to the ground-truth principal subspace. Notably, our result suggests that despite various recent efforts to accelerate the convergence of stochastic-gradient based methods by adding a O(n)-time variance reduction step, for the k-PCA problem, a truly online SGD variant suffices to achieve exponential convergence on intrinsically low-rank data.

研究动机与目标

• 开发一种适用于内存和计算资源有限的流数据的高效在线 $k$-PCA 算法。
• 填补关于方差缩减是否为随机 $k$-PCA 中实现指数收敛所必需的理论理解空白。
• 证明即使在无方差缩减的情况下，简单的随机梯度变体也能在随机设置下实现指数收敛。
• 通过理论和实证方法验证该算法能自然适应数据的低秩性，并实现快速收敛。

提出的方法

• 将 Krasulina 方法从向量情形（$k=1$）推广至矩阵情形（$k \geq 1$），用于在线 $k$-PCA。
• 在应用于经验 $k$-PCA 目标函数的随机梯度下降框架中使用恒定学习率。
• 采用子空间之间的主角作为收敛度量，用于衡量估计主子空间与真实主子空间之间的距离。
• 通过条件期望和概率集中性论证，推导出期望子空间距离的递推界。
• 通过证明期望误差按 $\exp(-t\eta\tau\lambda_k)$ 的速率衰减，建立指数收敛性，其中 $\eta$ 为学习率，$\lambda_k$ 为第 $k$ 个特征值。
• 引入一个概率事件 $\mathcal{G}_t$ 以控制大偏差的可能性，确保高概率收敛。

实验结果

研究问题

• RQ1 简单的随机梯度方法是否能在无方差缩减的情况下实现在线 $k$-PCA 中的指数收敛？
• RQ2 该算法是否能自然适应数据的内在低秩结构？
• RQ3 随机梯度方法的收敛速率是否足以满足 $k$-PCA 的需求，还是必须依赖方差缩减？
• RQ4 所提出方法在在线设置下的收敛行为与方差缩减替代方法相比如何？

主要发现

• 所提出的 Matrix Krasulina 算法以 $\exp(-t\eta\tau\lambda_k)$ 的速率实现对真实主子空间的指数收敛，且该速率与数据规模 $n$ 无关。
• 在随机设置下，即使无方差缩减，该算法仍能实现指数级快速收敛，这与“方差缩减在非凸问题中对快速收敛至关重要”的普遍认知相悖。
• 理论分析表明，在恒定学习率和有界噪声条件下，期望子空间距离随迭代次数 $t$ 指数衰减。
• 实证结果证实，该算法收敛速度优于标准随机梯度方法，并在在线设置下与方差缩减方法相比表现相当或更优。
• 该方法真正实现了在线处理，每个数据点仅需一次遍历，且每次迭代仅需常数内存，适用于大规模流式数据。
• 该算法能自然适应低秩数据，在数据协方差矩阵中 $\lambda_k$ 与 $\lambda_{k+1}$ 之间存在显著差距时，可实现快速收敛。