[论文解读] Fast and Near-Optimal Matrix Completion via Randomized Basis Pursuit

Zhisu Zhu, Anthony Man–Cho So+1 more|ArXiv.org|May 11, 2009

Sparse and Compressive Sensing Techniques参考文献 39被引用 11

一句话总结

该论文提出了一种随机化基追踪（RBP）算法，用于快速且近乎最优的矩阵补全，通过仅采样 $ O(nr\log n) $ 个条目即可以高概率实现精确重构，从而显著降低采样量和运行时间。与以往的半定规划（SDP）方法相比，该方法的运行时间为 $ O(nr^2\log n + n^2r) $，显著提升了效率和可扩展性。

ABSTRACT

Motivated by the philosophy and phenomenal success of compressed sensing, the problem of reconstructing a matrix from a sampling of its entries has attracted much attention recently. Such a problem can be viewed as an information-theoretic variant of the well-studied matrix completion problem, and the main objective is to design an efficient algorithm that can reconstruct a matrix by inspecting only a small number of its entries. Although this is an impossible task in general, Candès and co-authors have recently shown that under a so-called incoherence assumption, a rank $r$ $n imes n$ matrix can be reconstructed using semidefinite programming (SDP) after one inspects $O(nr\log^6n)$ of its entries. In this paper we propose an alternative approach that is much more efficient and can reconstruct a larger class of matrices by inspecting a significantly smaller number of the entries. Specifically, we first introduce a class of so-called stable matrices and show that it includes all those that satisfy the incoherence assumption. Then, we propose a randomized basis pursuit (RBP) algorithm and show that it can reconstruct a stable rank $r$ $n imes n$ matrix after inspecting $O(nr\log n)$ of its entries. Our sampling bound is only a logarithmic factor away from the information-theoretic limit and is essentially optimal. Moreover, the runtime of the RBP algorithm is bounded by $O(nr^2\log n+n^2r)$, which compares very favorably with the $Ω(n^4r^2\log^{12}n)$ runtime of the SDP-based algorithm. Perhaps more importantly, our algorithm will provide an exact reconstruction of the input matrix in polynomial time. By contrast, the SDP-based algorithm can only provide an approximate one in polynomial time.

研究动机与目标

• 解决从最少数量的观测条目中重构低秩矩阵的挑战，该问题在推荐系统、传感器网络和运动结构等应用中具有重要意义。
• 克服现有基于半定规划（SDP）的矩阵补全方法计算效率低下的问题，这些方法需要 $ \Omega(n^4r^2\log^{12}n) $ 的运行时间。
• 开发一种可在多项式时间内实现精确重构的方法，与仅提供近似解的SDP方法形成对比。
• 引入 $ k $-稳定矩阵的概念，作为比非相干矩阵更广泛的一类矩阵，从而能够重构更广泛的矩阵类型。
• 设计一种即使在矩阵秩未知的情况下也能高效运行的随机化算法，增强其实际适用性。

提出的方法

• 提出一种随机化基追踪（RBP）算法，通过均匀随机采样条目，并利用迭代列选择策略识别低秩矩阵的基列。
• 引入 $ k $-稳定矩阵的概念，其中每一列在当前基的张成空间中至少包含 $ k+1 $ 个条目，以确保恢复所需的足够信息。
• 使用停止阈值 $ \Lambda = \frac{1}{k+1} \log\left(\frac{\min\{m,n\}}{\delta}\right) $ 控制迭代次数，平衡采样效率与高概率成功。
• 在每次迭代中采用随机列选择策略，第 $ j $ 步选择基列的概率下界为 $ \frac{k+1}{n-j+1} $。
• 利用集中不等式和归纳分析方法，界定在 $ \Lambda $ 次迭代内成功识别全部 $ r $ 个基列的概率。
• 建立运行时间复杂度上界 $ O(mr^2\Lambda + mnr) $，对于 $ k $-稳定矩阵，该表达式可简化为 $ O\left(\frac{mnr^2}{k+1}\log\left(\frac{\min\{m,n\}}{\delta}\right) + mnr\right) $。

实验结果

研究问题

• RQ1 随机化算法能否在远少于现有SDP方法所需采样条目的前提下实现精确矩阵补全？
• RQ2 在计算高效的前提下，使用何种最小条目数量可高概率重构低秩矩阵？
• RQ3 如何设计算法使其在不预先知晓矩阵秩的情况下仍能运行？
• RQ4 采样复杂度能否降低至信息论下限的对数因子范围内？
• RQ5 在现实假设下，矩阵补全中采样效率与计算复杂度之间存在何种权衡？

主要发现

• RBP算法在以高概率完成 $ O(nr\log n) $ 个条目的采样后，可重构 $ k $-稳定秩-$ r $ 的 $ n \times n $ 矩阵，该采样量仅比信息论下限对数因子略大。
• RBP算法的运行时间复杂度上界为 $ O(nr^2\log n + n^2r) $，相比SDP方法 $ \Omega(n^4r^2\log^{12}n) $ 的运行时间有显著提升。
• 该算法可在多项式时间内实现精确重构，而SDP方法仅能提供近似解。
• 成功重构的概率至少为 $ 1 - \delta $，且采样边界对 $ \delta $ 呈对数依赖，确保了高可靠性。
• 即使在矩阵秩未知的情况下，该方法依然有效，因为存在一种RBP变体可自适应地在执行过程中估计秩。
• $ k $-稳定矩阵类包含所有非相干矩阵，因此在保持强理论保证的同时，推广了先前的研究结果。