[论文解读] Fast approximation of matrix coherence and statistical leverage

Petros Drineas, Malik Magdon‐Ismail+2 more|arXiv (Cornell University)|Sep 18, 2011

Sparse and Compressive Sensing Techniques参考文献 48被引用 171

一句话总结

本文提出了一种随机化算法，可在 $ O(nd\log n / \epsilon^2) $ 时间内计算出 $ n \times d $ 矩阵的所有 $ n $ 个统计杠杆度的相对误差近似值，显著快于标准 SVD 方法所需的 $ O(nd^2) $ 时间。该方法利用 Johnson-Lindenstrauss 类型的随机投影和线性 sketching 技术，无需计算完整 SVD 即可高效估计杠杆度，从而在大规模数据分析和随机化矩阵算法中实现可扩展计算。

ABSTRACT

The statistical leverage scores of a matrix $A$ are the squared row-norms of the matrix containing its (top) left singular vectors and the coherence is the largest leverage score. These quantities are of interest in recently-popular problems such as matrix completion and Nyström-based low-rank matrix approximation as well as in large-scale statistical data analysis applications more generally; moreover, they are of interest since they define the key structural nonuniformity that must be dealt with in developing fast randomized matrix algorithms. Our main result is a randomized algorithm that takes as input an arbitrary $n imes d$ matrix $A$, with $n \gg d$, and that returns as output relative-error approximations to all $n$ of the statistical leverage scores. The proposed algorithm runs (under assumptions on the precise values of $n$ and $d$) in $O(n d \log n)$ time, as opposed to the $O(nd^2)$ time required by the naïve algorithm that involves computing an orthogonal basis for the range of $A$. Our analysis may be viewed in terms of computing a relative-error approximation to an underconstrained least-squares approximation problem, or, relatedly, it may be viewed as an application of Johnson-Lindenstrauss type ideas. Several practically-important extensions of our basic result are also described, including the approximation of so-called cross-leverage scores, the extension of these ideas to matrices with $n \approx d$, and the extension to streaming environments.

研究动机与目标

• 开发一种快速、可扩展的算法，用于近似大规模矩阵中的统计杠杆度，这些杠杆度在矩阵补全和低秩逼近中至关重要。
• 将计算杠杆度的计算成本从 $ O(nd^2) $ 降低至 $ O(nd\log n / \epsilon^2) $，从而在大规模数据分析中实现实际应用。
• 将算法扩展至流式处理和分布式环境，支持实时或空间高效的计算。
• 提供对一致性和交叉杠杆度的相对误差近似，这些是随机化矩阵算法中的关键结构属性。
• 通过线性 sketching 实现按杠杆度成比例高效采样矩阵行，适用于矩阵 sketching 和回归等应用。

提出的方法

• 该算法使用随机投影矩阵 $ \Pi $ 和线性 sketching 矩阵 $ T $ 压缩输入矩阵 $ A $，以保留与杠杆度相关的行范数。
• 在数据单次遍历中计算 $ TA $ 和 $ \Pi A $，然后通过 $ R^{-1} $ 的变换恢复近似杠杆度。
• 该方法依赖于 Johnson-Lindenstrauss 类型嵌入，以 $ (1\pm\epsilon) $ 因子保留左奇异向量矩阵 $ U $ 的行 $ \ell_2 $-范数。
• 通过 $ \ell_2 $-采样技术估计杠杆度，其中行采样概率与 $ \|U_{(i)}\|_2^2 $ 成正比，从而高效识别高杠杆度行。
• 对于流式应用，算法使用支持 $ F_p $-范数估计和杠杆度分布熵近似的 sketching 矩阵。
• 该算法可扩展以估计一致性（最大杠杆度）、交叉杠杆度和杠杆度分布熵，仅需少量空间和单次遍历。

实验结果

研究问题

• RQ1 是否可以在 $ o(nd^2) $ 时间内近似统计杠杆度，同时保持相对误差保证？
• RQ2 如何利用 Johnson-Lindenstrauss 类型的随机投影在不计算完整 SVD 的情况下估计杠杆度？
• RQ3 在流式环境中，近似杠杆度所需的最小空间和遍历复杂度是多少？
• RQ4 该算法能否扩展以估计一致性、交叉杠杆度和杠杆度分布熵？
• RQ5 如何利用线性 sketching 实现按杠杆度成比例的高效行采样？

主要发现

• 所提出的算法在 $ O(nd\log n / \epsilon^2) $ 时间内计算出所有 $ n $ 个杠杆度的相对误差近似值，相比标准 SVD 方法的 $ O(nd^2) $ 时间有显著提升。
• 该算法在相同时间复杂度下实现了对矩阵一致性的相对误差近似，因为一致性即为最大杠杆度。
• 该方法通过使用 $ O(sd\epsilon^{-2}\log^4 n) $ 位空间，支持单次遍历、流式计算，用于获取 $ s $ 个按杠杆度比例采样的行。
• 杠杆度分布的熵可使用 $ O(d\epsilon^{-4}\log^6 n\log^{14}(1/\epsilon)) $ 位空间在加法误差 $ \epsilon $ 内近似。
• 通过在 sketch 中使用 $ O(d\tau^{-1}\epsilon^{-2}\log^3 n\log \tau^{-1}) $ 行，该方法可高效识别高杠杆度行（即满足 $ \|U_{(i)}\|_2^2 \geq \tau\|U\|_F^2 $ 的行）。
• 该方法对秩亏矩阵具有鲁棒性，并可自然扩展至 $ n \approx d $ 的情况，尽管数值稳定性问题留待未来工作研究。