[论文解读] Low Rank Matrix Approximation in Linear Time

Sariel Har-Peled|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 8被引用 12

一句话总结

该论文提出了首个在Frobenius范数下具有乘法$(1+\varepsilon)$近似保证的低秩矩阵逼近的线性时间算法。它采用基于随机采样和递归精化的几何方法：一个小的随机样本可张成一个近似大多数点的平面，异常点被过滤并递归处理，最终解通过Frieze等人和Deshpande等人提出的技术进行合并与优化。

ABSTRACT

$ ewcommand{\MatA}{\mathcal{M}}$ $ ewcommand{\eps}{\varepsilon}$ $ ewcommand{\NSize}{\mathsf{N}{}}$ $ ewcommand{\MatB}{\mathcal{B}}$ $ ewcommand{\Fnorm}[1]{\left\| {#1} ight\|_F}$ $ ewcommand{\PrcOpt}[2]{μ_{\mathrm{opt}}\pth{#1, #2}}$ $ ewcommand{\pth}[1]{\left(#1 ight)}$ Given a matrix $\MatA$ with $n$ rows and $d$ columns, and fixed $k$ and $\eps$, we present an algorithm that in linear time (i.e., $O(\NSize )$) computes a $k$-rank matrix $\MatB$ with approximation error $\Fnorm{\MatA - \MatB}^2 \leq (1+\eps) \PrcOpt{\MatA}{k}$, where $\NSize = n d$ is the input size, and $\PrcOpt{\MatA}{k}$ is the minimum error of a $k$-rank approximation to $\MatA$. This algorithm succeeds with constant probability, and to our knowledge it is the first linear-time algorithm to achieve multiplicative approximation.

研究动机与目标

• 解决长期悬而未决的开放问题：在时间复杂度为线性的情况下，实现低秩矩阵逼近的乘法$(1+\varepsilon)$-近似。
• 克服先前方法的局限性，即要么存在加法误差项，要么需要超线性时间，尤其在处理大规模矩阵时。
• 为低秩逼近提供几何解释：即在$\mathbb{R}^d$中寻找一个$k$-平面，使其到一组点的平方距离之和最小化。
• 在高概率和恒定置信度下，实现输入大小$\mathsf{N}{} = nd$的运行时间为$O(\mathsf{N}{}k^2\log k)$。
• 开发一种I/O高效的方法，适用于大规模或稀疏矩阵，并在稀疏情况下实现次线性性能。

提出的方法

• 将矩阵$\mathcal{M}$转换为$\mathbb{R}^d$中的$n$个点的点集$P$，其中每一行对应一个点。
• 采样大小为$O(k^2 \log(k/\delta))$的随机子集$\mathcal{R}$，以形成初始的$k$-平面$\mathcal{F}$，由于$\varepsilon$-网和VC维的论证，该平面可近似大多数点。
• 将距离$\mathcal{F}$较远的点识别为异常点$X$，定义为距离大于$\sqrt{96k^2 \cdot \mu_{\text{opt}}(P,k)}$的点。
• 对异常点集$X$递归应用该算法，以计算一个能良好逼近$X$的$k$-平面$\mathcal{G}$，使用规模减小的相同算法。
• 将$\mathcal{F}$和$\mathcal{G}$合并为更高维的平面$\text{span}(\mathcal{F} \cup \mathcal{G})$，然后应用已知算法（引理2.5）提取一个$k$-平面$\mathcal{I}$，使其对整个点集的逼近误差在最优解的$1+\varepsilon$范围内。
• 利用Frieze等人和Deshpande等人提出的幂方法和采样技术，确保最终逼近误差在最优Frobenius误差的$1+\varepsilon$范围内。

实验结果

研究问题

• RQ1 能否在时间复杂度为线性的情况下，计算出低秩矩阵逼近的乘法$(1+\varepsilon)$-近似？
• RQ2 是否可能通过基于随机采样和递归异常点检测的几何方法实现此类近似？
• RQ3 为实现$(1+\varepsilon)$-近似并保持线性时间复杂度，所需的数据遍历最小次数是多少？
• RQ4 能否通过替代的几何或概率论证，克服现有采样引理中的瓶颈？
• RQ5 该算法在稀疏矩阵上的表现如何？是否能在非零元素数量上实现次线性时间？

主要发现

• 该算法计算出一个$k$-秩矩阵$\mathcal{B}$，使得$\|\mathcal{M} - \mathcal{B}\|_F^2 \leq (1+\varepsilon)\mu_{\text{opt}}(\mathcal{M},k)$，概率至少为$1-\delta$。
• 运行时间为$O(\mathsf{N}{}k(\varepsilon^{-1} + k)\log(k/(\varepsilon\delta)))$，其中$\mathsf{N}{} = nd$为输入大小，当$k$和$\varepsilon$固定时，该时间复杂度在$\mathsf{N}{}$上为线性。
• 当$k^2 \log(k/\delta) \geq d$时，该算法退化为标准SVD，此时SVD更为高效。
• 该算法具有I/O高效性，并且在迭代次数$I$较小时，对稀疏矩阵可实现次线性时间。
• 关键技术洞见是：大小为$O(k^2 \log k)$的随机样本可张成一个近似大多数点的平面，且异常点数量足够少，可支持递归处理。
• 最终逼近误差被限制在$\sqrt{(1+\varepsilon)\mu_{\text{opt}}(P,k)}$，这意味着$\|\mathcal{M} - \mathcal{B}\|_F \leq (1+\varepsilon)\min_{\text{rank}(\mathcal{C})=k}\|\mathcal{M} - \mathcal{C}\|_F$。