[论文解读] Low Rank Approximation at Sublinear Cost

Qi Luan, Victor Y. Pan+2 more|arXiv (Cornell University)|Jun 11, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用 6

一句话总结

该论文通过证明交叉近似（C-A）迭代是使用稀疏测试矩阵的递归采样算法，解决了低秩近似（LRA）能否以亚线性成本计算的悖论，实现了高概率下的近似最优LRA。它证明了C-A在大多数输入下仅通过一次递归步骤即可快速收敛，仅对一类狭窄的困难情况例外，并通过引入杠杆度数改进采样，提升了准确性和鲁棒性。

ABSTRACT

Low Rank Approximation (LRA) of a matrix is a hot research subject, fundamental for Matrix and Tensor Computations and Big Data Mining and Analysis. Computations with low rank matrices can be performed at sublinear cost -- by using much fewer floating-point operations (flops) than an input matrix has entries, but can we compute LRA at sublinear cost? This is routinely done in computational practice for a large class of inputs, even though any sublinear cost LRA algorithm fails most miserably on worst case matrices. To provide insight into this controversy we first accelerate some popular near-optimal random sketching LRA algorithms -- to run them at sublinear cost. Then we define two probabilistic structures in the space of input matrices and estimate that the expected spectral and Frobenius error norms for the output LRA of the accelerated algorithms stay within a reasonable factor from their optima under both models, and so these sublinear cost algorithms only fail for a very narrow input class. Our upper estimates for their output accuracy are still quite high, but under some additional semi-heuristic amendments the algorithms have consistently output accurate LRA of various synthetic and real-world matrices in our numerical tests.

研究动机与目标

• 解决一个看似矛盾的问题：尽管最坏情况下的LRA误差因子存在理论下界，无法实现亚线性成本计算，但C-A迭代在实践中始终能产生高质量的近似结果。
• 将C-A迭代形式化为使用采样测试矩阵实现亚线性计算成本的递归采样算法。
• 分析C-A的收敛行为，证明其在单次递归步骤中以高概率实现接近最优的LRA误差界。
• 通过引入[11]中的杠杆度数改进采样，提升采样算法在病态或难处理输入矩阵上的鲁棒性和性能。
• 为亚线性算法输出的LRA误差范数提供理论保证，表明在温和条件下，其误差在最优截断SVD误差的小常数因子范围内。

提出的方法

• 将C-A迭代形式化为使用稀疏测试矩阵的递归采样算法，通过采样避免访问所有矩阵元素，从而近似低秩结构。
• 应用体积分析方法衡量C-A过程中选取子矩阵的质量，使用投影体积 $ \operatorname{v}_{2,r}(W_{\mathcal{I},\mathcal{J}}) $ 作为近似精度的代理指标。
• 利用随机矩阵理论和集中不等式（如高斯尾部界）推导所选子矩阵与最优子矩阵之间体积比的高概率界。
• 引入递归框架，每一步根据残差信息选择新的行和列，迭代提升子矩阵质量。
• 将[11]中的杠杆度数引入采样过程，提高选择信息丰富行/列的概率，降低误差界。
• 采用Moore-Penrose广义逆范数 $ \| (FMH)^+ \|_2 $ 作为选择最优子矩阵的标准，以最小化条件数并提升稳定性。

实验结果

研究问题

• RQ1 尽管存在最坏情况误差因子的理论下界，低秩近似能否以亚线性成本实现接近最优的误差界？
• RQ2 为何交叉近似（C-A）迭代虽以亚线性成本运行，却在实践中始终能产生高质量的低秩近似？
• RQ3 C-A如何被正式解释为使用稀疏测试矩阵的递归采样算法？其收敛性具有哪些理论保证？
• RQ4 杠杆度数在提升基于采样LRA算法的鲁棒性和准确性方面起到什么作用？
• RQ5 在何种条件下，采样算法的误差范数可保持在最优截断SVD误差的小常数因子范围内？

主要发现

• C-A迭代被正式识别为使用稀疏测试矩阵的递归采样算法，解释了其在亚线性成本下实现的实证成功。
• 对于大多数输入，C-A在单次递归步骤内即可实现接近最优的LRA误差，其误差范数在最优SVD界的小常数因子范围内。
• 获得具有弱最大投影体积的子矩阵的概率随矩阵大小 $ m $ 增大而提高，且失败概率随目标秩 $ r $ 指数衰减。
• 理论界表明，该算法输出的LRA误差在高概率下不超过最优体积的 $ \left(\frac{1+\theta}{1-\phi}\right)^r \left(\frac{(p+r)(q+r)}{pq}\right)^{r/2} $ 倍。
• 在采样过程中引入杠杆度数可显著提升算法鲁棒性，尤其在病态或难以近似的矩阵上表现更优。
• 理论分析确认，只要测试矩阵 $ H $ 不与输入矩阵的顶部右奇异子空间对齐，误差矩阵的谱范数和Frobenius范数即在最优SVD误差的小常数因子范围内。