[论文解读] CUR Low Rank Approximation of a Matrix at Sublinear Cost

Go, Soo, Qi Luan+3 more|arXiv (Cornell University)|Jun 10, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用 6

一句话总结

本文在子线性成本下，通过交叉近似（C-A）和原始算法，为一大类矩阵（包括扰动因子高斯矩阵）建立了CUR低秩逼近（LRA）的理论保证。证明了这些方法在大多数具有接近低秩结构的矩阵上，以高概率（whp）计算出精确的LRA，尤其在结合随机预处理后效果更佳，并将C-A与随机化投影方法联系起来。

ABSTRACT

Low rank approximation of a matrix (hereafter LRA) is a highly important area of Numerical Linear and Multilinear Algebra and Data Mining and Analysis. One can operate with an LRA at sublinear cost -- by using much fewer memory cells and flops than an input matrix M has entries. For worst case inputs one cannot compute even a reasonably close LRA at sublinear cost, but in computational practice accurate LRAs, even in their memory efficient form of CUR LRAs, are routinely obtained at sublinear cost for large and important classes of matrices, in particular by means of Cross-Approximation iterations, which specialize Alternating Direction techniques to LRA. We identify some classes of matrices for which CUR LRA are computed at sublinear cost as well as some sublinear cost LRA algorithms that are empirically accurate for large classes of inputs. Some of our techniques and concepts can be of independent interests.

研究动机与目标

• 正式证明交叉近似（C-A）迭代在子线性成本下实现精确低秩逼近的实验成功性。
• 分析子线性成本LRA算法（特别是C-A和原始算法）在广泛矩阵类上的精度，这些矩阵具有足够接近的低秩结构。
• 证明随机预处理（例如通过高斯、SRHT或Rademacher矩阵）可将任意具有接近LRA的矩阵转化为扰动因子高斯矩阵，从而实现精确的子线性LRA。
• 通过预处理和体积最大化原理，建立C-A迭代与随机化/投影LRA算法之间的理论联系。
• 证明对初始子线性LRA进行迭代优化可进一步提高精度，即使初始逼近较粗糙也有效。

提出的方法

• 引入扰动因子高斯矩阵类作为具有接近LRA的矩阵的大型子类，其定义基于具有i.i.d.标准高斯分布的随机矩阵 $G$ 和 $H$。
• 利用子矩阵的体积最大化来定义弱最大投影体积，表明C-A和原始算法倾向于选择此类高体积子矩阵。
• 应用浓度不等式和联合界，推导出所选子矩阵体积与最大体积之比的高概率界。
• 证明对于双边因子高斯矩阵 $W = G\Sigma H$，当子矩阵 $W_{\mathcal{I},\mathcal{J}}$ 的行数 $p$、列数 $q$ 满足 $p,q > 2r$ 时，其以高概率为 $\big(\frac{1+\theta}{1-\phi}\big)^r \big(\frac{(p+r)(q+r)}{pq}\big)^{r/2}$-弱最大 $r$-投影体积。
• 证明通过高斯、SRHT或Rademacher矩阵进行随机预处理，可将任意具有接近LRA的矩阵转化为因子高斯矩阵的小范数扰动，从而实现通过C-A或原始算法进行精确的子线性LRA。
• 通过证明在预处理下C-A迭代行为与随机化及投影LRA算法等价，揭示了C-A与这些算法之间此前未被注意到的联系。

实验结果

研究问题

• RQ1 子线性成本LRA算法（如C-A和原始算法）能否在一大类具有接近低秩结构的矩阵上计算出精确的CUR逼近？
• RQ2 C-A和原始算法在扰动因子高斯矩阵上的理论精度保证是什么？其接近最优的程度如何？
• RQ3 随机预处理（如使用高斯或Rademacher矩阵）如何提升一般矩阵的子线性成本LRA精度？
• RQ4 C-A迭代与随机化/投影LRA算法之间存在何种关系？能否形式化这一关系？
• RQ5 对初始子线性成本LRA进行迭代优化能否进一步提升精度？在何种条件下有效？

主要发现

• C-A和原始算法在具有接近低秩结构的大型矩阵子类（特别是扰动因子高斯矩阵）上，以高概率（whp）计算出精确的CUR LRA。
• 对于期望秩为 $r$ 的双边因子高斯矩阵 $W = G\Sigma H$，当子矩阵 $W_{\mathcal{I},\mathcal{J}}$ 的行数 $p$、列数 $q$ 满足 $p,q > 2r$ 时，其以至少 $1 - 2\exp(-\theta r/4) - 2\exp(-\phi^2 r/2)$ 的概率为 $\big(\frac{1+\theta}{1-\phi}\big)^r \big(\frac{(p+r)(q+r)}{pq}\big)^{r/2}$-弱最大 $r$-投影体积。
• 通过高斯、SRHT或Rademacher矩阵进行随机预处理，可将任意具有接近LRA的矩阵转化为因子高斯矩阵的小范数扰动，从而实现通过C-A或原始算法进行精确的子线性LRA。
• C-A和原始算法计算的LRA的期望误差范数在最优值的常数倍范围内，但并非任意接近最优（即非相对误差LRA）。
• 实验测试表明，形式化的误差估计可能过于保守，特别是对C-A算法而言，表明其实际性能强于理论界限所暗示。
• 对初始子线性成本LRA进行迭代优化可显著提升精度，尤其当初始逼近足够接近真实低秩结构时。