[论文解读] Fast Exact Matrix Completion with Finite Samples

Prateek Jain, Praneeth Netrapalli|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 12被引用 11

一句话总结

本文提出 Stagewise-SVP（St-SVP），一种用于精确低秩矩阵补全的快速迭代算法，使用 $O(nr^5ackepsilon^3n)$ 个有限样本，且独立于条件数和精度。该方法采用一种新型的 $\varepsilon$-无关 $\infty$-范数势函数，以及扩展的 Davis-Kahan 定理，实现近线性 $O(nr^7ackepsilon^3n\log 1/\epsilon)$ 的运行时间，使其成为首个具有有限样本复杂度的近线性时间精确矩阵补全方法。

ABSTRACT

Matrix completion is the problem of recovering a low rank matrix by observing a small fraction of its entries. A series of recent works [KOM12,JNS13,HW14] have proposed fast non-convex optimization based iterative algorithms to solve this problem. However, the sample complexity in all these results is sub-optimal in its dependence on the rank, condition number and the desired accuracy. In this paper, we present a fast iterative algorithm that solves the matrix completion problem by observing $O(nr^5 \log^3 n)$ entries, which is independent of the condition number and the desired accuracy. The run time of our algorithm is $O(nr^7\log^3 n\log 1/ε)$ which is near linear in the dimension of the matrix. To the best of our knowledge, this is the first near linear time algorithm for exact matrix completion with finite sample complexity (i.e. independent of $ε$). Our algorithm is based on a well known projected gradient descent method, where the projection is onto the (non-convex) set of low rank matrices. There are two key ideas in our result: 1) our argument is based on a $\ell_{\infty}$ norm potential function (as opposed to the spectral norm) and provides a novel way to obtain perturbation bounds for it. 2) we prove and use a natural extension of the Davis-Kahan theorem to obtain perturbation bounds on the best low rank approximation of matrices with good eigen-gap. Both of these ideas may be of independent interest.

研究动机与目标

• 解决先前非凸迭代方法在矩阵补全中样本复杂度次优的问题，尤其是其对条件数和所需精度的依赖。
• 开发一种具有有限样本复杂度、且独立于 $\epsilon$ 和 $\kappa$ 的快速精确矩阵补全算法。
• 在矩阵维度上实现近线性时间复杂度，同时确保精确恢复。
• 为在非凸低秩集合上的投影梯度下降提供理论基础，结合新颖的扰动分析。

提出的方法

• 提出分阶段 SVP（St-SVP），一种使用 SVD 进行秩-$r$ 投影的投影梯度下降算法，通过迭代更新。
• 采用一种新型的 $\ell_\infty$-范数势函数，推导出扰动界，替代传统的谱范数分析。
• 提出 Davis-Kahan 定理的自然扩展，用于在良好特征值间隔下界低秩近似中的扰动。
• 采用分阶段采样策略，避免迭代中的依赖问题，实现有限样本下的精确恢复。
• 通过在图结构上的随机游走的 $k$-阶矩界和马尔可夫不等式分析收敛性。
• 建立样本复杂度 $O(nr^5\log^3n)$ 和运行时间 $O(nr^7\log^3n\log 1/\epsilon)$，两者在 $n$ 上均为近线性。

实验结果

研究问题

• RQ1 非凸迭代算法能否在不依赖条件数和精度 $\epsilon$ 的前提下，实现具有有限样本复杂度的精确矩阵补全？
• RQ2 在非凸低秩矩阵上的投影梯度下降方法能否实现近线性时间复杂度，同时保证精确恢复？
• RQ3 $\ell_\infty$-范数势函数能否在低秩矩阵恢复中提供比谱范数更紧致且更易分析的扰动界？
• RQ4 扩展的 Davis-Kahan 定理能否改进非凸设置下特征值间隔条件下的低秩近似分析？
• RQ5 能否设计一种分阶段采样策略，避免迭代依赖性，同时确保有限样本收敛？

主要发现

• 所提出的 St-SVP 算法在 $O(nr^5\log^3n)$ 个观测条目下实现精确矩阵补全，且独立于矩阵的条件数和所需精度 $\epsilon$。
• 该算法的运行时间为 $O(nr^7\log^3n\log 1/\epsilon)$，在矩阵维度 $n$ 上为近线性，使其在大规模问题上具有可扩展性。
• 使用 $\ell_\infty$-范数势函数可实现比基于谱范数的分析更紧致、更鲁棒的扰动界。
• 扩展的 Davis-Kahan 定理为在特征值间隔条件下分析低秩近似误差提供了新颖的理论工具。
• 实验结果表明，St-SVP 在恢复精度和运行时间方面均优于标准 SVP，尤其在高条件数矩阵上表现更优。
• St-SVP 在矩阵规模上保持近线性扩展，且随着条件数增加，显著快于 SVP。