[论文解读] A Simple Approach to Optimal CUR Decomposition

Haishan Ye, Yujun Li+1 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用 3

一句话总结

本文提出了一种新颖且高效的方法，通过仅使用杠杆得分采样实现最优CUR分解和近似最优的列重构，消除了对BSS或自适应采样方法的需求。该方法实现了首个O(nnz(A))的最优CUR算法，并扩展至Nyström方法，运行时间达到O(nnz(A))或Õ(n²)，显著优于先前的方法。

ABSTRACT

Prior optimal CUR decomposition and near optimal column reconstruction methods have been established by combining BSS sampling and adaptive sampling. In this paper, we propose a new approach to the optimal CUR decomposition and near optimal column reconstruction by just using leverage score sampling. In our approach, both the BSS sampling and adaptive sampling are not needed. Moreover, our approach is the first $O(\mathrm{nnz}(\A))$ optimal CUR algorithm where $\A$ is a data matrix in question. We also extend our approach to the Nystr{ö}m method, obtaining a fast algorithm which runs $ ilde{O}(n^{2})$ or $O(\mathrm{ nz}(\A))$

研究动机与目标

• 开发一种更简单、更高效的最优CUR分解方法，避免依赖复杂的采样策略。
• 消除CUR分解中对BSS采样和自适应采样的需求，简化算法流程。
• 实现O(nnz(A))时间复杂度的最优CUR分解，优于先前的方法。
• 将所提方法扩展至Nyström方法，实现快速高效的低秩近似。

提出的方法

• 该方法仅使用杠杆得分采样来选择用于CUR分解的列和行，替代了对BSS和自适应采样的需求。
• 通过计算杠杆得分来识别最具信息量的列和行，确保高质量的低秩近似。
• 算法直接从采样的列和行构建CUR分解，保持近似误差的最优性。
• 通过将相同的杠杆得分采样策略应用于核矩阵，将该方法扩展至Nyström方法。
• 理论分析表明，该方法仅使用O(nnz(A))次操作，即可以高概率实现最优近似误差。
• 该方法设计简洁高效，避免了迭代或自适应采样步骤。

实验结果

研究问题

• RQ1 能否仅通过杠杆得分采样实现最优CUR分解，而无需BSS或自适应采样？
• RQ2 仅基于杠杆得分采样的CUR分解算法的计算复杂度是多少？
• RQ3 基于杠杆得分的方法能否扩展至Nyström方法，用于核矩阵近似？
• RQ4 所提方法是否在最小计算成本下实现最优近似误差？

主要发现

• 所提方法仅通过杠杆得分采样即可实现最优CUR分解，消除了对BSS和自适应采样的需求。
• 该算法运行时间为O(nnz(A))，是首个O(nnz(A))的最优CUR算法。
• 通过采用相同的采样策略，该方法实现了近似最优的列重构。
• 该方法成功扩展至Nyström方法，实现了O(nnz(A))或Õ(n²)的运行时间。