[论文解读] Relative-Error CUR Matrix Decompositions

Petros Drineas, Michael W. Mahoney+1 more|ArXiv.org|Aug 27, 2007

Matrix Theory and Algorithms参考文献 39被引用 8

一句话总结

该论文提出了首个多项式时间的相对误差 CUR 矩阵分解算法，其中矩阵 $ A $ 通过从 $ A $ 中选取的实际列和行来近似表示为 $ CUR $，且 $ U $ 通过广义逆计算得出。该方法以高概率确保 $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $，使用 $ O(k\log k) $ 列和行，利用了一种基于前导奇异向量的新型“子空间采样”技术。

ABSTRACT

Many data analysis applications deal with large matrices and involve approximating the matrix using a small number of ``components.'' Typically, these components are linear combinations of the rows and columns of the matrix, and are thus difficult to interpret in terms of the original features of the input data. In this paper, we propose and study matrix approximations that are explicitly expressed in terms of a small number of columns and/or rows of the data matrix, and thereby more amenable to interpretation in terms of the original data. Our main algorithmic results are two randomized algorithms which take as input an $m imes n$ matrix $A$ and a rank parameter $k$. In our first algorithm, $C$ is chosen, and we let $A'=CC^+A$, where $C^+$ is the Moore-Penrose generalized inverse of $C$. In our second algorithm $C$, $U$, $R$ are chosen, and we let $A'=CUR$. ($C$ and $R$ are matrices that consist of actual columns and rows, respectively, of $A$, and $U$ is a generalized inverse of their intersection.) For each algorithm, we show that with probability at least $1-δ$: $$ ||A-A'||_F \leq (1+ε) ||A-A_k||_F, $$ where $A_k$ is the ``best'' rank-$k$ approximation provided by truncating the singular value decomposition (SVD) of $A$. The number of columns of $C$ and rows of $R$ is a low-degree polynomial in $k$, $1/ε$, and $\log(1/δ)$. Our two algorithms are the first polynomial time algorithms for such low-rank matrix approximations that come with relative-error guarantees; previously, in some cases, it was not even known whether such matrix decompositions exist. Both of our algorithms are simple, they take time of the order needed to approximately compute the top $k$ singular vectors of $A$, and they use a novel, intuitive sampling method called ``subspace sampling.''

研究动机与目标

• 通过用实际数据列和行替换低秩矩阵近似中的抽象 SVD 基向量，解决低秩矩阵近似中的可解释性问题。
• 开发高效、多项式时间的算法，实现与最优低秩 SVD 近似相当的相对误差近似保证。
• 为 CUR 分解提供理论保证，使得近似误差相对于最优秩-$ k $ SVD 截断误差有界。
• 提出一种新型采样方法——“子空间采样”，以提高采样效率和近似精度。
• 通过证明相对误差 CUR 分解的存在性及其高效可计算性，填补了理论空白，此前在某些情况下尚不明确。

提出的方法

• 对 $ A $ 的列使用非均匀采样分布，采样概率与 $ A $ 的前 $ k $ 个右奇异向量的行的 $ \ell^2 $-范数平方成正比。
• 使用子空间采样概率，通过精确或期望方式选取 $ c = O(k\log k) $ 列，构建矩阵 $ C $。
• 对于 $ CUR $ 分解，将 $ U $ 计算为所选列与行交集的 Moore-Penrose 逆，以确保 $ A' = CUR $ 近似 $ A $。
• 对 $ C $ 使用广义逆形式 $ A' = C^+ A $ 进行仅列的近似，确保相对误差界。
• 采用两阶段算法：首先使用子空间概率采样列，然后通过 $ C^+ A $ 或 $ CUR $ 计算低秩近似。
• 利用 Johnson-Lindenstrauss 性质和随机化 SVD 技术，确保算法运行时间与计算 $ A $ 的前 $ k $ 个奇异向量的时间相当。

实验结果

研究问题

• RQ1 能否仅使用输入矩阵中的实际列和行，而非线性组合，实现相对误差的低秩矩阵近似？
• RQ2 能否设计一种具有可证明相对误差保证的多项式时间算法，用于此类 CUR 分解？
• RQ3 何种采样策略可确保所选列和行在 Frobenius 范数意义下实现近似最优？
• RQ4 如何将采样复杂度降低至 $ O(k\log k) $，同时保持相对误差界？
• RQ5 能否构建一种分解方式，使得最终近似结果在原始数据特征上既准确又可解释？

主要发现

• 所提算法实现了相对误差近似保证：以至少 $ 1 - \delta $ 的概率满足 $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $。
• 矩阵 $ C $ 中的列数和 $ R $ 中的行数为 $ O(k\log k) $，相比先前的 $ O(k^2 / \epsilon^2) $ 量级有显著改进。
• 该算法运行时间与计算 $ A $ 的前 $ k $ 个奇异向量的时间相当，适用于大规模矩阵。
• 子空间采样方法利用前导奇异向量行的 $ \ell^2 $-范数，实现了子空间与幅值信息的解耦，从而获得更紧的界。
• 该方法是首个为基于列-行的低秩矩阵近似提供多项式时间相对误差保证的算法。
• 结果可推广至仅列形式（$ C^+A $）和完整 $ CUR $ 分解，两者均具有高概率的相对误差界。