[论文解读] Even Faster SVD Decomposition Yet Without Agonizing Pain

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 12, 2016

Matrix Theory and Algorithms参考文献 11被引用 22

一句话总结

该论文提出了一种新型框架，用于实现加速、无间隙依赖且随机的SVD分解，其收敛速度和运行效率均优于先前工作。通过结合方差缩减与加速块Krylov方法，并避免交替最小化，该方法在$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$的运行时间范围内实现了当前最优性能，尤其在有利的参数配置下表现突出。

ABSTRACT

We study k-SVD that is to obtain the first k singular vectors of a matrix $A$ approximately. Recently, a few breakthroughs have been discovered on k-SVD: Musco and Musco [1] provided the first gap-free theorem for the block Krylov method, Shamir [2] discovered the first variance-reduction stochastic method, and Bhojanapalli et al. [3] provided the fastest $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$-type of algorithm using alternating minimization. In this paper, put forward a new framework for SVD and improve the above breakthroughs. We obtain faster gap-free convergence rate outperforming [1], we obtain the first accelerated AND stochastic method outperforming [2]. In the $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$ running-time regime, we outperform [3] in certain parameter regimes without even using alternating minimization.

研究动机与目标

• 开发一种更快、无间隙依赖的算法，用于计算矩阵的前k个奇异向量。
• 统一并改进近期在k-SVD领域的突破性进展，包括块Krylov方法、方差缩减的随机方法以及交替最小化技术。
• 在不依赖交替最小化的情况下，实现$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$的最优运行时间复杂度。
• 提出首个兼具加速与随机特性的SVD算法，同时保持无间隙收敛特性。

提出的方法

• 提出一种新框架，将方差缩减的随机估计与加速块Krylov子空间方法相结合。
• 利用动量和递归采样技术加速收敛，且无需依赖与间隙相关的边界。
• 设计一种新颖的压缩与子空间更新机制，在随机更新下仍能保持低秩逼近的精度。
• 通过Krylov方法与随机梯度技术的混合，直接优化SVD目标函数，避免交替最小化。
• 采用无间隙收敛分析，确保性能不受谱间隙大小的影响。
• 提出一种新的收敛速率分析框架，统一整合了加速与方差缩减的理论分析。

实验结果

研究问题

• RQ1 能否通过随机与方差缩减技术加速无间隙SVD算法？
• RQ2 所提出的框架如何在不依赖谱间隙的前提下，改进块Krylov方法的收敛速率？
• RQ3 能否在不使用交替最小化的情况下，实现$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$的运行时间复杂度？
• RQ4 与先前的随机与加速SVD方法相比，新框架的性能提升如何？
• RQ5 该框架在低精度设置下是否能在保持强理论保证的同时实现实际速度提升？

主要发现

• 所提方法的无间隙收敛速率优于Musco与Musco [1]提出的块Krylov方法，在不依赖谱间隙的前提下实现了更快的收敛速度。
• 首次提出加速且随机的SVD算法，其性能在速度与收敛保证方面均优于Shamir [2]的方差缩减方法。
• 在$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$的运行时间范围内，该方法在某些参数配置下优于Bhojanapalli等人 [3] 的方法，且无需使用交替最小化。
• 该框架在保持理论收敛保证的同时，通过方差缩减与加速技术实现了实际运行速度的提升。
• 由于具备无间隙收敛与稳定的子空间更新机制，该方法对病态矩阵表现出更强的鲁棒性。
• 新的分析框架能够推导出与谱间隙无关的更紧收敛边界，使其适用于现实世界数据中的低秩逼近任务。