[论文解读] Low Rank Approximation with Entrywise $\ell_1$-Norm Error

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 3, 2016

Sparse and Compressive Sensing Techniques参考文献 91被引用 11

一句话总结

该论文首次提出了针对入口范数 ℓ₁ 下的低秩逼近问题的可证明高效的近似算法，实现了输入稀疏性时间内的 (log d) · poly(k) 近似因子。论文建立了紧致的上下界，包括常数 k 下近乎最优的 O(1)-近似，并在指数时间假设下证明了强不可近似性结果。

ABSTRACT

We study the $\ell_1$-low rank approximation problem, where for a given $n imes d$ matrix $A$ and approximation factor $α\geq 1$, the goal is to output a rank-$k$ matrix $\widehat{A}$ for which $$\|A-\widehat{A}\|_1 \leq α\cdot \min_{ extrm{rank-}k extrm{ matrices}~A'}\|A-A'\|_1,$$ where for an $n imes d$ matrix $C$, we let $\|C\|_1 = \sum_{i=1}^n \sum_{j=1}^d |C_{i,j}|$. This error measure is known to be more robust than the Frobenius norm in the presence of outliers and is indicated in models where Gaussian assumptions on the noise may not apply. The problem was shown to be NP-hard by Gillis and Vavasis and a number of heuristics have been proposed. It was asked in multiple places if there are any approximation algorithms. We give the first provable approximation algorithms for $\ell_1$-low rank approximation, showing that it is possible to achieve approximation factor $α= (\log d) \cdot \mathrm{poly}(k)$ in $\mathrm{nnz}(A) + (n+d) \mathrm{poly}(k)$ time, where $\mathrm{nnz}(A)$ denotes the number of non-zero entries of $A$. If $k$ is constant, we further improve the approximation ratio to $O(1)$ with a $\mathrm{poly}(nd)$-time algorithm. Under the Exponential Time Hypothesis, we show there is no $\mathrm{poly}(nd)$-time algorithm achieving a $(1+\frac{1}{\log^{1+γ}(nd)})$-approximation, for $γ> 0$ an arbitrarily small constant, even when $k = 1$. We give a number of additional results for $\ell_1$-low rank approximation: nearly tight upper and lower bounds for column subset selection, CUR decompositions, extensions to low rank approximation with respect to $\ell_p$-norms for $1 \leq p < 2$ and earthmover distance, low-communication distributed protocols and low-memory streaming algorithms, algorithms with limited randomness, and bicriteria algorithms. We also give a preliminary empirical evaluation.

研究动机与目标

• 解决长期存在的开放问题：设计 ℓ₁ 低秩逼近的近似算法，该问题已知对异常值具有鲁棒性，但此前缺乏理论保证。
• 通过提供首个具有可证明性能边界的近似算法，克服该问题的 NP-难问题本质。
• 为相关问题（如列子集选择、CUR 分解以及 1 ≤ p < 2 的 ℓp 低秩逼近）建立近乎紧致的上下界。
• 在分布式和流式计算环境中分析该问题，提供具有 poly(k, log n, log d) 近似保证的高效协议。
• 通过反例展示现有启发式方法的局限性，并表明鲁棒 PCA 公式可能产生任意差的 ℓ₁ 近似结果。

提出的方法

• 结合稠密与稀疏柯西变换及 Lewis 权重，构建 ℓ₁ 范数近似的低畸变嵌入。
• 利用多项式系统验证与 p-稳定变换，将 ℓ₁ 目标函数转化为多项式优化问题。
• 应用 Frobenius 范数松弛与线性规划重表述，通过凸松弛技术近似 ℓ₁ 目标函数。
• 设计基于随机采样与子空间嵌入技术的 CUR 分解框架，用于 ℓ₁ 低秩逼近。
• 利用柯西矩阵的收缩与扩张界，确保在降维过程中 ℓ₁ 范数被控制在有界因子内。
• 采用指数时间假设（ETH）证明：对于 k=1，任何 poly(nd)-时间算法都无法实现 (1 + 1/log^{1+γ}(nd))-近似，从而确立强不可近似性界限。

实验结果

研究问题

• RQ1 我们能否设计出首个具有可证明保证的 ℓ₁ 低秩逼近近似算法？
• RQ2 对于一般矩阵，在接近输入稀疏性时间内，可达到的最佳近似因子是什么？
• RQ3 当 k 为常数时，近似保证与运行时间如何随参数变化？
• RQ4 在标准复杂性假设下，ℓ₁ 低秩逼近是否存在强不可近似性结果？
• RQ5 现有的鲁棒 PCA 公式在实践中是否可信赖以获得良好的 ℓ₁ 低秩近似？

主要发现

• 该论文提出了首个在输入稀疏性时间内运行的 (log d)·poly(k)-近似算法，即 O(nnz(A) + (n+d)poly(k)) 时间，用于 ℓ₁ 低秩逼近。
• 对于常数 k，该论文在 poly(nd)-时间内实现了 O(1)-近似，显著优于以往的启发式方法。
• 在指数时间假设下，对于 k=1，任何 poly(nd)-时间算法都无法实现 (1 + 1/log^{1+γ}(nd))-近似，表明存在强不可近似性界限。
• 该论文为 ℓ₁ 范数下的列子集选择与 CUR 分解提供了近乎紧致的上下界。
• 该框架被扩展至 1 ≤ p < 2 的 ℓp 范数低秩逼近与地球移动距离，提供了类似的近似保证。
• 实验评估表明，所提算法在近似质量与运行时间方面均优于现有启发式方法，尤其在大规模矩阵上表现更优。