[论文解读] $\ell_p$ Row Sampling by Lewis Weights

Michael B. Cohen, Richard Peng|arXiv (Cornell University)|Dec 1, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 7

一句话总结

本文提出了首个基于Lewis权重的ℓ_p行采样输入稀疏时间算法，实现了ℓ_p范数下矩阵-向量乘积的高效近似。对于ℓ₁范数，实现了最优样本量O(d log d)，对于其他ℓ_p范数则达到近似最优的样本量，运行时间依赖于矩阵的稀疏性及矩阵乘法指数。

ABSTRACT

We give a simple algorithm to efficiently sample the rows of a matrix while preserving the p-norms of its product with vectors. Given an $n$-by-$d$ matrix $\boldsymbol{\mathit{A}}$, we find with high probability and in input sparsity time an $\boldsymbol{\mathit{A}}'$ consisting of about $d \log{d}$ rescaled rows of $\boldsymbol{\mathit{A}}$ such that $\| \boldsymbol{\mathit{A}} \boldsymbol{\mathit{x}} \|_1$ is close to $\| \boldsymbol{\mathit{A}}' \boldsymbol{\mathit{x}} \|_1$ for all vectors $\boldsymbol{\mathit{x}}$. We also show similar results for all $\ell_p$ that give nearly optimal sample bounds in input sparsity time. Our results are based on sampling by "Lewis weights", which can be viewed as statistical leverage scores of a reweighted matrix. We also give an elementary proof of the guarantees of this sampling process for $\ell_1$.

研究动机与目标

• 开发首个基于Lewis权重的多项式时间与输入稀疏时间ℓ_p行采样算法。
• 提供一种实用且高效的方法，通过少量重缩放行来近似ℓ_p范数下的矩阵-向量乘积。
• 将基于Lewis权重的采样理论保证扩展至一般ℓ_p范数，特别是ℓ₁范数，实现最优样本复杂度。
• 与先前方法相比，降低ℓ₁及1 ≤ p ≤ 2的ℓ_p范数的运行时间与样本量。
• 给出一种简单迭代算法，通过重复计算统计杠杆度量来近似Lewis权重。

提出的方法

• 使用迭代算法近似Lewis权重，该算法计算重加权矩阵的2-近似统计杠杆度量。
• 将近似得到的Lewis权重用作输入矩阵A行的采样概率。
• 从A中采样O(d log d ε⁻²)个重缩放行以构成A′，确保对所有x ∈ ℝ^d，有||Ax||_p ≈_{1+ε} ||A'x||_p。
• 利用矩阵切尔诺夫型界和Rademacher复杂度，证明采样过程的集中性。
• 通过Lewis权重的密度变换构造，为行分配权重，其作用类似于ℓ_p设置下的杠杆度量。
• 对p > 2且p ≈ 4的情况使用椭球算法，尽管运行时间较高，但可保持理论保证。

实验结果

研究问题

• RQ1 能否在输入稀疏时间内高效计算Lewis权重，以实现ℓ_p行采样？
• RQ2 使用Lewis权重进行ℓ_p行采样时，最优样本量是多少，特别是针对ℓ₁范数？
• RQ3 能否将ℓ_p行采样的运行时间减少到接近输入稀疏时间，同时保持近似最优的样本复杂度？
• RQ4 如何使Talagrand与Lewis权重采样理论保证在算法上可有效应用？
• RQ5 在不同p值下，ℓ_p行采样中样本量与运行时间之间的权衡是什么？

主要发现

• 本文在ℓ₁行采样中实现了O(d log d)的样本量，与理论下限相比仅差对数因子。
• 对于ℓ₁，算法运行时间为O(nnz(A) + d^{ω+θ})，其中ω为矩阵乘法指数，θ > 0为任意常数。
• 该方法首次实现了具有最优样本量的ℓ₁行采样输入稀疏时间算法，优于先前的O(d^{3.66})运行时间算法。
• 对于1 < p < 2，样本量为O(d log d ε⁻²)，且运行时间保持接近输入稀疏时间，仅含d^{ω+θ}项。
• 对于p > 2，样本量增长为d^{p/2(1+θ)+C}，且运行时间显著增加，尤其在p ≈ 4附近及之上，主要由于使用了椭球算法。
• 该算法支持通过在运行时间中增加额外的O(nnz(A) log n)项，实现纯输入稀疏时间。