[论文解读] CUR Low Rank Approximation at Deterministic Sublinear Cost

Qi Luan, Victor Y. Pan+1 more|arXiv (Cornell University)|Jul 21, 2019

Matrix Theory and Algorithms参考文献 8被引用 4

一句话总结

本文提出针对对称正半定（SPSD）矩阵的确定性亚线性代价CUR低秩逼近（LRA）算法，相对误差在最优界的一个因子$(1+\epsilon)n$范围内。该方法通过单轮交叉近似（C-A）迭代利用最大体积子矩阵，首次为该类矩阵中亚线性LRA的实验效率提供了形式化支持。

ABSTRACT

A matrix algorithm runs at {\em sublinear cost} if it uses much fewer memory cells and arithmetic operations than the input matrix has entries. Such algorithms are indispensable for Big Data Mining and Analysis. Quite typically in that area the input matrices are so immense that realistically one can only access a small fraction of all their entries but can access and process at sublinear cost their Low Rank Approximation {\em (LRA)}. Can, however, we compute LRA at sublinear cost? Adversary argument shows that the output of any algorithm running at sublinear cost is extremely far from LRA of the worst case input matrices and even of the matrices of small families of our Appendix, but we prove that some deterministic sublinear cost algorithms output reasonably close LRA in a memory efficient form of CUR LRA if an input matrix admits LRA and is Symmetric Positive Semidefinite or is very close to a low rank matrix. The latter result is technically simple but provides some (very limited but long overdue) support for the well-known empirical efficiency of sublinear cost LRA by means of Cross-Approximation. We demonstrate the power of application of such LRA by turning the Fast Multipole celebrated Method into Superfast Multipole Method. The design and analysis of our algorithms rely on extensive prior study of the link of LRA of a matrix to maximization of its volume.

研究动机与目标

• 解决在大数据应用中亚线性代价LRA算法经验成功性长期缺乏理论依据的问题。
• 为输入矩阵为对称正半定（SPSD）或接近低秩时的CUR低秩逼近提供形式化保证。
• 证明确定性亚线性代价算法可为SPSD矩阵生成合理准确的LRA，克服针对一般矩阵而言此类保证被排除的对手论证。
• 建立最大体积子矩阵与有效CUR LRA之间的理论联系，支持交叉近似（C-A）的实用价值。
• 通过高效的LRA将快速多极子方法转化为超快多极子方法，展示其在实际中的影响。

提出的方法

• 通过单轮交叉近似（C-A）迭代计算具有最大体积的$p \times r$或$r \times q$子矩阵，确保对秩-$r$矩阵实现近似最优的CUR LRA。
• 利用最大体积子矩阵与CUR LRA之间的联系，其中子矩阵的体积决定逼近质量。
• 设计运行成本为亚线性的确定性算法，仅访问$O((m+n)r)$个条目，远少于完整矩阵的$mn$个条目。
• 将理论框架应用于将快速多极子方法转化为超快多极子方法，降低计算复杂度。
• 证明对于可进行LRA的SPSD矩阵，输出CUR LRA的相对误差在最优界的一个因子$(1+\epsilon)n$范围内，前提是$n/r \in O(1/\epsilon)$。
• 以体积最大化作为低秩逼近质量的代理，避免依赖随机采样或迭代优化。

实验结果

研究问题

• RQ1 确定性亚线性代价算法能否为对称正半定矩阵实现合理准确的CUR低秩逼近？
• RQ2 交叉近似（C-A）在亚线性代价下计算LRA的经验成功性的理论依据是什么？
• RQ3 在亚线性算法背景下，子矩阵的最大体积如何与最终CUR LRA的质量相关？
• RQ4 尽管对手论证排除了对一般矩阵的此类保证，亚线性代价LRA能否在任何矩阵类中实现形式化保证？
• RQ5 通过亚线性代价LRA，快速多极子方法能在多大程度上被加速，其对数值方法有何影响？

主要发现

• 所提出的确定性亚线性代价算法对任意$n \times n$对称正半定矩阵（若其可进行LRA），其CUR LRA的相对误差在最优界的一个因子$(1+\epsilon)n$范围内。
• 该界在条件$n/r \in O(1/\epsilon)$下成立，确保对于给定容差$\epsilon$，逼近质量可被控制。
• 单轮C-A迭代可计算出在有界因子内的最大体积子矩阵，从而为接近低秩的矩阵提供具有可接受误差的CUR LRA。
• 该结果首次为长期观察到的亚线性代价LRA通过交叉近似实现的实验效率提供了形式化理论支持。
• 该方法可将快速多极子方法转化为超快多极子方法，展示了其在数值线性代数中的实际影响。
• 该方法避免使用随机采样，转而依赖体积最大化，为现有随机亚线性LRA算法提供了一种确定性且内存高效的替代方案。