[论文解读] Low-distortion Subspace Embeddings in Input-sparsity Time and Applications to Robust Linear Regression

Xiangrui Meng, Michael W. Mahoney|arXiv (Cornell University)|Oct 11, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 13

一句话总结

该论文提出了在 ℓp-范数（p∈[1,2)）下构造低 distortion 子空间嵌入的输入稀疏时间算法，从而实现鲁棒线性回归问题的快速且精确求解。主要贡献是一种方法，可在 O(nnz(A)·log n) 时间内计算出 n×d 矩阵 A 的列空间的 (1±ε)-distortion 嵌入，嵌入维数为 O(d^{3+p/2} log(1/ε)/ε²)，在保持最优运行时间的同时，显著改进了先前的界。

ABSTRACT

Low-distortion embeddings are critical building blocks for developing random sampling and random projection algorithms for linear algebra problems. We show that, given a matrix $A \in \R^{n imes d}$ with $n \gg d$ and a $p \in [1, 2)$, with a constant probability, we can construct a low-distortion embedding matrix $Π\in \R^{O(\poly(d)) imes n}$ that embeds $\A_p$, the $\ell_p$ subspace spanned by $A$'s columns, into $(\R^{O(\poly(d))}, \| \cdot \|_p)$; the distortion of our embeddings is only $O(\poly(d))$, and we can compute $ΠA$ in $O( nz(A))$ time, i.e., input-sparsity time. Our result generalizes the input-sparsity time $\ell_2$ subspace embedding by Clarkson and Woodruff [STOC'13]; and for completeness, we present a simpler and improved analysis of their construction for $\ell_2$. These input-sparsity time $\ell_p$ embeddings are optimal, up to constants, in terms of their running time; and the improved running time propagates to applications such as $(1\pm ε)$-distortion $\ell_p$ subspace embedding and relative-error $\ell_p$ regression. For $\ell_2$, we show that a $(1+ε)$-approximate solution to the $\ell_2$ regression problem specified by the matrix $A$ and a vector $b \in \R^n$ can be computed in $O( nz(A) + d^3 \log(d/ε) /ε^2)$ time; and for $\ell_p$, via a subspace-preserving sampling procedure, we show that a $(1\pm ε)$-distortion embedding of $\A_p$ into $\R^{O(\poly(d))}$ can be computed in $O( nz(A) \cdot \log n)$ time, and we also show that a $(1+ε)$-approximate solution to the $\ell_p$ regression problem $\min_{x \in \R^d} \|A x - b\|_p$ can be computed in $O( nz(A) \cdot \log n + \poly(d) \log(1/ε)/ε^2)$ time. Moreover, we can improve the embedding dimension or equivalently the sample size to $O(d^{3+p/2} \log(1/ε) / ε^2)$ without increasing the complexity.

研究动机与目标

• 开发针对 p∈[1,2) 的 ℓp-范数下低 distortion 子空间嵌入的高效、输入稀疏时间算法。
• 改进鲁棒 ℓp 回归问题（尤其是 ℓ1 回归）的运行时间和嵌入维数。
• 将 Clarkson 和 Woodruff 的输入稀疏时间 ℓ2 嵌入方法推广至 p<2 的 ℓp 情况。
• 通过迭代采样与条件化，解耦多项式项与对数项，降低嵌入维数对 d 的依赖。
• 实现 (1±ε)-distortion 嵌入和 ℓp 回归的 (1+ε)-近似解的近最优运行时间和嵌入大小。

提出的方法

• 构建一个低 distortion 嵌入矩阵 Π∈ℝ^{poly(d)×n}，以 O(poly(d)) 的 distortion 保留 A 的列空间的 ℓp 结构。
• 采用两阶段采样与条件化过程：首先通过 QR 分解或舍入计算一个良好条件的基，然后应用保持子空间的采样以减少嵌入维数。
• 利用柯西变换和杠杆度估计技术，实现低 distortion 的高效采样。
• 通过第二轮采样，将 poly(d) 因子与 log(1/ε)/ε² 项解耦，将最终嵌入维数减少至 O(d^{3+p/2} log(1/ε)/ε²)。
• 通过将问题子采样至大小为 O(d^{3+p/2} log(1/ε)/ε²) × d，然后精确求解较小问题，利用嵌入求解 ℓp 回归。
• 通过使用稀疏矩阵运算和高效的采样方案，确保所有步骤均在输入稀疏时间内运行，即 O(nnz(A)·log n)。

实验结果

研究问题

• RQ1 能否在输入稀疏时间内计算出 p∈[1,2) 的 ℓp 子空间嵌入的低 distortion 嵌入？
• RQ2 能否在不增加运行时间的前提下，将嵌入维数从 O(poly(d)/ε²) 降低至 O(d^{3+p/2} log(1/ε)/ε²)？
• RQ3 在 ℓp 回归中，如何优化嵌入维数与条件质量之间的权衡？
• RQ4 能否将 ℓp 回归的运行时间提升至 O(nnz(A)·log n + poly(d)·log(1/ε)/ε²)？
• RQ5 是否可能通过解耦嵌入维数中对 d 的大多项式依赖与 log(1/ε)/ε² 项？

主要发现

• n×d 矩阵 A 的 ℓp 列空间的 (1±ε)-distortion 嵌入可在 O(nnz(A)·log n) 时间内计算，嵌入维数为 O(d^{3+p/2} log(1/ε)/ε²)。
• 该算法实现了输入稀疏时间复杂度，运行时间在常数因子范围内为最优。
• 对于 ℓ2 回归，(1+ε)-近似解可在 O(nnz(A) + d³ log(d/ε)/ε²) 时间内计算，优于先前方法。
• 对于 p∈[1,2) 的 ℓp 回归，(1+ε)-近似解可在 O(nnz(A)·log n + poly(d)·log(1/ε)/ε²) 时间内计算。
• 通过迭代采样与条件化，成功将 poly(d) 因子与 log(1/ε)/ε² 项解耦，使子采样问题更小。
• 该方法推广并改进了 Clarkson 和 Woodruff 的输入稀疏时间 ℓ2 嵌入，分析更简洁且更紧密。