[论文解读] Algorithms for $\ell_p$ Low Rank Approximation

Flavio Chierichetti, Sreenivas Gollapudi+4 more|arXiv (Cornell University)|May 18, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 5

一句话总结

该论文首次为所有 $p \geq 1$ 的 $β_p$ 低秩逼近问题提出了可证明性能良好的近似算法，包括 $p=1$ 和 $p=\infty$ 的情况。方法结合了列采样与凸优化，在多项式时间内实现 $O(k)$-近似，使用 $O(k\log m)$ 列；当 $k = O(\log n / \log \log n)$ 时，可实现精确的 $k$-秩逼近，并具有 $\text{poly}(k)$ 因子保证，实测数据和合成数据上均优于 SVD。

ABSTRACT

We consider the problem of approximating a given matrix by a low-rank matrix so as to minimize the entrywise $\ell_p$-approximation error, for any $p \geq 1$; the case $p = 2$ is the classical SVD problem. We obtain the first provably good approximation algorithms for this version of low-rank approximation that work for every value of $p \geq 1$, including $p = \infty$. Our algorithms are simple, easy to implement, work well in practice, and illustrate interesting tradeoffs between the approximation quality, the running time, and the rank of the approximating matrix.

研究动机与目标

• 为 $\ell_p$ 低秩逼近问题提供理论保证，特别是针对此前缺乏性能界约束的 $p=1$ 和 $p=\infty$ 情况。
• 设计高效算法，为一般矩阵和所有 $p \geq 1$ 的 $\ell_p$ 低秩逼近问题提供可证明的近似因子。
• 在近似质量、运行时间与输出秩之间实现平衡，尤其通过最小化列数来维持强理论保证。
• 实证表明，所提算法在真实与合成数据集上，于 $\ell_p$ 误差方面优于经典 SVD，尤其在 $p=1$ 和 $p=\infty$ 时表现更优。

提出的方法

• 第一种算法采用存在性论证：从输入矩阵中识别出 $k$ 列，结合凸规划后，可实现对最优 $k$-秩 $\ell_p$ 近似 $O(k)$-近似。
• 第二种算法采用自适应列采样：从剩余矩阵中迭代采样列以覆盖输入，实现 $O(k)$-近似，时间复杂度为 $O(\text{poly}(n,m))$，但返回 $O(k\log m)$ 列。
• 第三种算法结合前两种方法：通过一个 $\text{poly}(n,m)(k\log n)^k$-时间过程，对第二种算法的输出进行优化，生成恰好 $k$ 列，实现 $\text{poly}(k)$-近似因子。
• 对于常数 $p$，通过改进的采样与投影策略，论文在任意 $k$ 下均实现 $\text{poly}(k)$-近似因子，且运行时间为 $\text{poly}(n,m)$。
• 算法设计简洁实用，专注于逐元素 $\ell_p$ 误差最小化，避免依赖谱方法或正交方法。
• 实证评估采用算法 2 的启发式变体：重复均匀随机采样 $k$ 列，对每组运行 $\ell_p$-投影，并选择最优解。

实验结果

研究问题

• RQ1 能否为所有 $p \geq 1$ 的 $\ell_p$ 低秩逼近问题设计出可证明性能良好的近似算法，包括此前无理论保证的 $p=1$ 和 $p=\infty$ 情况？
• RQ2 是否可能在输出秩略大于 $k$ 的情况下，实现具有有界近似因子的多项式时间算法？
• RQ3 能否将一种双准则近似（列数多于 $k$）进一步优化，以生成具有小的、多项式近似因子的精确 $k$-秩近似？
• RQ4 所提算法在真实世界与合成数据集上的 $\ell_p$ 误差表现与 SVD 相比如何？

主要发现

• 所提算法在多项式时间内实现对最优 $k$-秩 $\ell_p$ 近似的 $O(k)$-近似，使用 $O(k\log m)$ 列，结合自适应列采样与凸优化。
• 当 $k = O(\log n / \log \log n)$ 时，算法在 $O(\text{poly}(n,m)(k\log n)^k)$ 时间内实现 $\text{poly}(k)$-近似因子，且列数恰好为 $k$。
• 对于任意常数 $p \geq 1$，方法在 $\text{poly}(n,m)$ 运行时间内实现 $\text{poly}(k)$-近似因子，与 $k$ 无关。
• 在 FIDAP 矩阵上，算法 2 在小 $k$ 时将 $\ell_1$-误差降低了约 40%，在 KOS 博客矩阵上将 $\ell_\infty$-误差降低了约 10%。
• 在随机 $\pm 1$ 矩阵上，算法 2 在所有 $k$ 下使 $\ell_\infty$-误差相比 SVD 降低了 30–50%，且由于符号秩下界的存在，$\ell_\infty$ 误差被限制在 1，该算法尊重此下界。
• 论文建立了下界：列子集选择问题需要 $k^{\Omega(1)}$ 的近似因子，表明更优因子可能需要非列基方法。