[论文解读] Learning-Based Low-Rank Approximations

Piotr Indyk, Ali Vakilian+1 more|arXiv (Cornell University)|Oct 30, 2019

Sparse and Compressive Sensing Techniques被引用 19

一句话总结

本文提出一种基于学习的低秩矩阵近似方法，通过使用在输入矩阵分布上训练得到的、稀疏的、可学习的矩阵来替代传统的随机投影矩阵。与随机投影相比，该方法将近似误差显著降低了一个数量级，同时通过鲁棒性和泛化性边界保持了理论保证，尤其在 $m=1$ 情况下，近似因子与稳定秩相关，表现更优。

ABSTRACT

We introduce a "learning-based" algorithm for the low-rank decomposition problem: given an $n imes d$ matrix $A$, and a parameter $k$, compute a rank-$k$ matrix $A'$ that minimizes the approximation loss $\|A-A'\|_F$. The algorithm uses a training set of input matrices in order to optimize its performance. Specifically, some of the most efficient approximate algorithms for computing low-rank approximations proceed by computing a projection $SA$, where $S$ is a sparse random $m imes n$ "sketching matrix", and then performing the singular value decomposition of $SA$. We show how to replace the random matrix $S$ with a "learned" matrix of the same sparsity to reduce the error. Our experiments show that, for multiple types of data sets, a learned sketch matrix can substantially reduce the approximation loss compared to a random matrix $S$, sometimes by one order of magnitude. We also study mixed matrices where only some of the rows are trained and the remaining ones are random, and show that matrices still offer improved performance while retaining worst-case guarantees. Finally, to understand the theoretical aspects of our approach, we study the special case of $m=1$. In particular, we give an approximation algorithm for minimizing the empirical loss, with approximation factor depending on the stable rank of matrices in the training set. We also show generalization bounds for the sketch matrix learning problem.

研究动机与目标

• 通过学习针对数据分布的投影矩阵，提升流式和分布式场景下低秩矩阵近似的准确性。
• 用学习得到的稀疏矩阵替代随机投影矩阵，以最小化训练数据上的Frobenius范数近似误差。
• 在实现更优实际性能的同时，保持最坏情况下的理论保证，通过针对特定数据分布的学习实现。
• 为学习得到的投影矩阵问题提供泛化边界和近似保证，尤其关注 $m=1$ 情况。
• 分析在混合矩阵中，学习得到的与随机投影行之间的权衡，同时保持性能和理论鲁棒性。

提出的方法

• 在 $n \times d$ 矩阵的数据集上训练稀疏投影矩阵 $ S $，以最小化经验Frobenius范数损失 $ \|A - A'\|_F $，其中 $ A' $ 是 $ SA $ 的秩-$ k $ 近似。
• 采用两阶段流程：首先通过 $ SA $ 对 $ A $ 进行投影，然后在 $ SA $ 上计算SVD以获得低秩近似，其中 $ S $ 通过基于梯度或启发式的方法在训练数据上进行优化。
• 引入一种混合投影策略，其中 $ S $ 的部分行是学习得到的，部分行是随机的，从而在保持最坏情况理论保证的同时提升准确性。
• 在理论分析中，研究 $ m=1 $ 情况，并推导出一个近似因子依赖于训练矩阵稳定秩的近似算法。
• 利用Rademacher复杂度和集中不等式，推导学习投影矩阵的泛化边界，确保在未见数据上的性能。
• 利用矩阵分解的毕达哥拉斯定理，证明 $ [AV]_k V^T $ 是在 $ V $ 的列空间中最佳的秩-$ k $ 近似，从而支持误差分解的理论分析。

实验结果

研究问题

• RQ1 学习得到的投影矩阵能否使低秩矩阵分解的近似误差低于随机投影？
• RQ2 学习得到的投影矩阵的理论近似保证是什么，特别是在 $ m=1 $ 情况下？
• RQ3 部分学习、部分随机的混合投影矩阵如何在性能和最坏情况鲁棒性之间取得平衡？
• RQ4 能否为学习得到的投影矩阵问题在未见数据分布上建立泛化边界？
• RQ5 训练矩阵的稳定秩如何影响学习投影算法的近似因子？

主要发现

• 与随机投影矩阵相比，学习得到的投影矩阵在多种数据类型上将近似误差降低了最多一个数量级。
• 在 $ m=1 $ 情况下，所提算法的近似因子依赖于训练矩阵的稳定秩，优于随机投影。
• 采用部分学习、部分随机行的混合投影矩阵，在保持最坏情况理论保证的同时，仍显著优于纯随机投影。
• 通过Rademacher复杂度建立了泛化边界，表明在训练集上鲁棒的解在底层数据分布上以高概率具有泛化性能。
• 理论分析证实，学习得到的投影矩阵在最小化经验损失的同时，确保解能以高置信度泛化到未见矩阵。
• 实验结果表明，该方法在多个数据集上均表现出一致的性能提升，验证了针对特定数据分布的投影方法优于通用随机投影。