[论文解读] Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis

Lijun Ding, Yudong Chen|arXiv (Cornell University)|Mar 20, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用 9

一句话总结

本文提出了一种留一法分析框架，为矩阵补全算法建立了精确的逐元素收敛保证。该研究首次实现了无正则化的投影梯度下降（PGD）在无穷范数下的线性收敛，并在核范数最小化中实现了样本复杂度为 $\mathcal{O}(\mu r \log(\mu r) d \log d)$ 的最优结果，且不依赖于条件数。

ABSTRACT

In this paper, we introduce a powerful technique based on Leave-one-out analysis to the study of low-rank matrix completion problems. Using this technique, we develop a general approach for obtaining fine-grained, entrywise bounds for iterative stochastic procedures in the presence of probabilistic dependency. We demonstrate the power of this approach in analyzing two of the most important algorithms for matrix completion: (i) the non-convex approach based on Projected Gradient Descent (PGD) for a rank-constrained formulation, also known as the Singular Value Projection algorithm, and (ii) the convex relaxation approach based on nuclear norm minimization (NNM). Using this approach, we establish the first convergence guarantee for the original form of PGD without regularization or sample splitting}, and in particular shows that it converges linearly in the infinity norm. For NNM, we use this approach to study a fictitious iterative procedure that arises in the dual analysis. Our results show that \NNM recovers an $ d $-by-$ d $ rank-$ r $ matrix with $\mathcal{O}(μr \log(μr) d \log d )$ observed entries. This bound has optimal dependence on the matrix dimension and is independent of the condition number. To the best of our knowledge, this is the first sample complexity result for a tractable matrix completion algorithm that satisfies these two properties simultaneously.

研究动机与目标

• 为解决在迭代过程中存在概率依赖关系的迭代矩阵补全算法的分析挑战。
• 克服以往方法依赖不切实际假设或产生次优界的问题。
• 通过留一法分析，为矩阵补全中的原始与对偶过程建立统一框架。
• 为非凸的PGD与凸的NNM算法建立紧密的、逐元素的收敛保证。

提出的方法

• 本文采用留一法技术，以隔离迭代过程中单个元素依赖的影响。
• 将该方法应用于分析秩约束矩阵补全中投影梯度下降（PGD）的原始路径。
• 使用相同技术分析核范数最小化（NNM）分析中出现的虚构对偶迭代过程。
• 该方法依赖于随机线性算子的算子范数的统一界，特别是 $\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{\text{op}}$，通过矩阵伯恩斯坦不等式实现。
• 通过仔细控制依赖关系，利用留一法扰动，建立 $\|\theta^t - \theta^*\|_\infty$ 的逐元素收敛。
• 分析利用谱范数的变分表示和秩结构矩阵分解，推导出紧致的高概率界。

实验结果

研究问题

• RQ1 留一法分析能否为具有依赖迭代的迭代矩阵补全算法提供逐元素收敛保证？
• RQ2 核范数最小化在矩阵补全中的最优样本复杂度是多少，且不依赖于条件数？
• RQ3 无正则化的投影梯度下降（PGD）在低秩矩阵补全中是否在无穷范数下实现线性收敛？
• RQ4 留一法框架能否统一分析矩阵补全中的原始（PGD）与对偶（NNM）过程？
• RQ5 使用可计算算法实现精确恢复所需观测条目数的最紧可能界是什么？

主要发现

• 本文首次为无正则化的投影梯度下降（PGD）在矩阵补全中建立了无穷范数下的线性收敛。
• 对于核范数最小化（NNM），该方法实现了 $\mathcal{O}(\mu r \log(\mu r) d \log d)$ 的样本复杂度，该结果在维度上最优，且不依赖于条件数。
• 留一法框架实现了对迭代过程的逐元素界，这对分析迭代随机过程中的依赖关系至关重要。
• 分析表明，对于低秩矩阵，$\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{\text{op}} \leq 2c\sqrt{\frac{rd\log d}{p}}\|A\|_{\infty}$ 几乎必然成立。
• 该界对所有 $i \in [d]$ 一致成立，并适用于对称与非对称矩阵补全模型。
• 结果表明，样本复杂度在 $d$ 和 $r$ 上是最优的，且对 $\mu$（相干性）的依赖也是紧致的。