[论文解读] CUR Algorithm for Partially Observed Matrices

Miao Xu, Rong Jin+1 more|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用 28

一句话总结

该论文提出 CUR+，一种新颖的 CUR 矩阵分解算法，用于部分观测矩阵，通过组合随机采样的行、列和条目，实现在无需完整访问矩阵的情况下进行低秩逼近。该方法在谱范数下提供了相对误差界，并表明仅需 $O(nrackslashln r)$ 个观测条目即可完美恢复一个 $n\times n$ 秩为 $r$ 的矩阵，显著降低了现有矩阵补全方法的样本复杂度。

ABSTRACT

CUR matrix decomposition computes the low rank approximation of a given matrix by using the actual rows and columns of the matrix. It has been a very useful tool for handling large matrices. One limitation with the existing algorithms for CUR matrix decomposition is that they need an access to the {\it full} matrix, a requirement that can be difficult to fulfill in many real world applications. In this work, we alleviate this limitation by developing a CUR decomposition algorithm for partially observed matrices. In particular, the proposed algorithm computes the low rank approximation of the target matrix based on (i) the randomly sampled rows and columns, and (ii) a subset of observed entries that are randomly sampled from the matrix. Our analysis shows the relative error bound, measured by spectral norm, for the proposed algorithm when the target matrix is of full rank. We also show that only $O(n r\ln r)$ observed entries are needed by the proposed algorithm to perfectly recover a rank $r$ matrix of size $n imes n$, which improves the sample complexity of the existing algorithms for matrix completion. Empirical studies on both synthetic and real-world datasets verify our theoretical claims and demonstrate the effectiveness of the proposed algorithm.

研究动机与目标

• 解决现有 CUR 算法在存在缺失数据的实际应用中需要完整矩阵访问的局限性。
• 在仅获得矩阵条目子集和随机采样的行/列时，开发一种计算高效的低秩逼近方法。
• 为部分观测下的低秩和满秩矩阵提供逼近误差的理论保证。
• 与标准矩阵补全和自适应采样方法相比，改进矩阵恢复的样本复杂度。

提出的方法

• 该算法利用目标矩阵中随机采样的行、列和观测条目组合构建低秩逼近。
• 将其问题表述为标准回归任务，而非求解迹范数正则化优化，从而实现计算效率。
• 该方法采用改进的 Nystroem 类方法，基于采样的行和列估计投影矩阵。
• 理论分析依赖于集中不等式和矩阵扰动理论，以界定逼近的谱范数误差。
• 引入正则化参数 $\eta$ 以稳定投影子空间估计中的逆运算。
• 通过与矩阵谱结构相关的参数 $\mu(\eta)$ 控制采样子矩阵的条件数，确保算法鲁棒性。

实验结果

研究问题

• RQ1 当仅能获得部分条目和随机采样的行/列时，能否有效计算基于 CUR 的低秩逼近？
• RQ2 为实现对满秩矩阵的可靠低秩逼近，所需观测条目的最小数量是多少？
• RQ3 在部分观测下，所提方法的谱范数误差如何随矩阵规模和秩变化？
• RQ4 所提算法能否在满秩矩阵的恢复中实现优于现有矩阵补全技术的样本复杂度？
• RQ5 相对误差和失败概率的理论误差界如何描述 CUR+ 逼近的误差？

主要发现

• 所提 CUR+ 算法在部分观测下，对低秩和满秩矩阵均实现了谱范数下的相对误差界。
• 仅需 $O(nr\backslashln r)$ 个观测条目即可完美恢复一个秩为 $r$ 的 $n\times n$ 矩阵，优于标准矩阵补全方法的 $O(nr\backslashln^2 n)$ 边界。
• CUR+ 的样本复杂度低于自适应采样方法的 $O(nr^{3/2}\backslashln r)$ 边界，使其在高秩或满秩矩阵中更具效率。
• 理论分析表明，以高概率 $1-4e^{-t}$，逼近误差被界定为 $O(\delta)$，其中 $\delta$ 控制谱偏差。
• 在合成数据集和真实世界数据集上的实验研究验证了理论结论，并展示了 CUR+ 在部分观测下低秩逼近的有效性。
• 当观测条目数量较少时，由于其鲁棒性和高效的估计策略，该算法在性能上优于朴素矩阵补全和无偏估计方法。