[论文解读] Matrix Completion from $O(n)$ Samples in Linear Time

David Gamarnik, Quan Li+1 more|arXiv (Cornell University)|Feb 8, 2017

Sparse and Compressive Sensing Techniques参考文献 25被引用 8

一句话总结

该论文提出了一种新颖的矩阵补全算法 TAM（阈值交替最小化），在标准的无偏性、有界秩和条件数假设下，仅使用 $O(n\log^2(1/\epsilon))$ 个样本，即可在 $O(n\log^2(1/\epsilon))$ 的线性时间内实现对 $n\times n$ 低秩矩阵的 $\epsilon$-近似恢复。该方法在基础交替最小化框架内引入了奇异值的阈值化处理与奇异向量的重标度，结合稀疏随机正则二分图进行采样，以确保快速且精确的恢复效果。

ABSTRACT

We consider the problem of reconstructing a rank-$k$ $n imes n$ matrix $M$ from a sampling of its entries. Under a certain incoherence assumption on $M$ and for the case when both the rank and the condition number of $M$ are bounded, it was shown in \cite{CandesRecht2009, CandesTao2010, keshavan2010, Recht2011, Jain2012, Hardt2014} that $M$ can be recovered exactly or approximately (depending on some trade-off between accuracy and computational complexity) using $O(n \, ext{poly}(\log n))$ samples in super-linear time $O(n^{a} \, ext{poly}(\log n))$ for some constant $a \geq 1$. In this paper, we propose a new matrix completion algorithm using a novel sampling scheme based on a union of independent sparse random regular bipartite graphs. We show that under the same conditions w.h.p. our algorithm recovers an $ε$-approximation of $M$ in terms of the Frobenius norm using $O(n \log^2(1/ε))$ samples and in linear time $O(n \log^2(1/ε))$. This provides the best known bounds both on the sample complexity and computational complexity for reconstructing (approximately) an unknown low-rank matrix. The novelty of our algorithm is two new steps of thresholding singular values and rescaling singular vectors in the application of the "vanilla" alternating minimization algorithm. The structure of sparse random regular graphs is used heavily for controlling the impact of these regularization steps.

研究动机与目标

• 开发一种矩阵补全算法，实现在最优样本复杂度与计算复杂度下的低秩矩阵近似恢复。
• 在保持线性时间复杂度的前提下，将交替最小化方法的样本复杂度从 $O(n\log n)$ 降低至 $O(n\log^2(1/\epsilon))$。
• 设计一种基于稀疏随机正则二分图的采样方案，以确保矩阵恢复过程中具有强集中性与稳定性。
• 通过奇异值阈值化与向量重标度引入正则化，改进现有交替最小化方法。
• 在近似低秩矩阵补全问题中，实现样本复杂度与运行时间的最佳已知边界。

提出的方法

• 该算法采用一种新颖的采样方案，基于多个独立稀疏随机正则二分图的并集，以确保矩阵条目采样的均匀性与良好条件性。
• 在基础交替最小化算法中引入两个关键正则化步骤：奇异值的阈值化与奇异向量的重标度。
• 理论分析依赖于随机正则图的集中不等式，特别是利用配置模型控制采样过程中的偏差。
• 该方法建立了真实矩阵 $M$ 与重构矩阵 $\tilde{M}$ 之间弗罗贝尼乌斯范数误差的高概率界。
• 分析利用矩阵伯恩斯坦不等式与基于切换的集中结果，对经验 Gram 矩阵与单位矩阵之间的偏差进行有界控制。
• 理论保证在标准假设下成立：有界秩 $k$、条件数 $\kappa$ 与无偏性参数 $\mu_0$。

实验结果

研究问题

• RQ1 能否在样本复杂度关于 $n$ 的对数次方以下实现线性时间矩阵补全？
• RQ2 能否通过 $\log n$ 因子降低交替最小化方法的样本复杂度，同时不损失精度？
• RQ3 稀疏随机正则二分图采样方案是否能提升矩阵补全中的集中性并加快收敛速度？
• RQ4 奇异值阈值化与向量重标度是否能稳定稀疏采样下的交替最小化过程？
• RQ5 在标准假设下，$O(n\log^2(1/\epsilon))$ 的样本复杂度是否为近似矩阵补全的最优解？

主要发现

• 所提出的 TAM 算法在高概率下，仅使用 $O(n\log^2(1/\epsilon))$ 个样本，即可实现 Frobenius 范数下的 $\epsilon$-近似矩阵恢复。
• 该算法运行时间为线性时间 $O(n\log^2(1/\epsilon))$，相较于以往的超线性时间方法具有显著改进。
• 样本复杂度在对数因子范围内达到最优，优于以往交替最小化方法的 $O(n\log n)$ 边界。
• 引入奇异值阈值化与向量重标度有效稳定了交替最小化过程，并在稀疏采样条件下实现了收敛。
• 理论分析证实，稀疏随机正则二分图采样方案能确保经验 Gram 矩阵围绕单位矩阵的强集中性。
• 该方法在近似低秩矩阵补全问题中，实现了样本复杂度与计算效率的最佳已知权衡。