[论文解读] Algorithmic Regularization in Over-parameterized Matrix Recovery

Yuanzhi Li, Tengyu Ma+1 more|arXiv (Cornell University)|Dec 26, 2017

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文证明，小初始化的梯度下降在过参数化的矩阵恢复中隐式正则化，使得在 $\tilde{O}(dr^2)$ 个随机线性测量下，可在 $\tilde{O}(\sqrt{r})$ 次迭代内实现低秩矩阵的精确重构。在受限等距性质下，该工作证实了 Gunasekar 等人提出的猜想，展示了非线性矩阵分解中的算法正则化现象。

ABSTRACT

We study the problem of recovering a low-rank matrix $X^\star$ from linear measurements using an over-parameterized model. We parameterize the rank-$r$ matrix $X^\star$ by $UU^ op$ where $U\in \mathbb{R}^{d imes d}$ is a square matrix, whereas the number of linear measurements is much less than $d^2$. We show that with $ ilde{O}(dr^{2})$ random linear measurements, the gradient descent on the squared loss, starting from a small initialization, recovers $X^\star$ approximately in $ ilde{O}(\sqrt{r})$ iterations. The results solve the conjecture of Gunasekar et al. under the restricted isometry property, and demonstrate that the training algorithm can provide an implicit regularization for non-linear matrix factorization models.

研究动机与目标

• 解决 Gunasekar 等人关于过参数化矩阵恢复中隐式正则化的猜想。
• 分析小初始化的梯度下降如何从少于环境维度的测量中恢复低秩矩阵 $X^\star$。
• 在受限等距性质下，建立在 $\tilde{O}(\sqrt{r})$ 次迭代内收敛的理论保证。
• 证明训练算法在非线性矩阵分解模型中提供隐式正则化。

提出的方法

• 将秩-$r$ 矩阵 $X^\star$ 参数化为 $UU^\top$，其中 $U \in \mathbb{R}^{d \times d}$，以实现过参数化。
• 在平方损失函数上使用梯度下降，以最小化来自线性测量的重构误差。
• 通过小随机值初始化 $U$ 以诱导隐式正则化。
• 利用测量算子的受限等距性质（RIP）建立收敛性。
• 分析过参数化设置下梯度下降的动力学，以界定迭代次数。
• 推导出实现近似重构所需的 $\tilde{O}(dr^2)$ 测量复杂度。

实验结果

研究问题

• RQ1 在过参数化设置下，小初始化的梯度下降能否从少于 $d^2$ 个测量中恢复低秩矩阵？
• RQ2 训练过程是否在非线性矩阵分解模型中提供隐式正则化？
• RQ3 在受限等距性质下，恢复所需的样本复杂度是多少？
• RQ4 在过参数化设置下，收敛需要多少次迭代？
• RQ5 该算法是否在 Gunasekar 等人的猜想下实现恢复？

主要发现

• 小初始化的梯度下降在 $\tilde{O}(\sqrt{r})$ 次迭代内近似恢复 $X^\star$。
• 该方法仅需 $\tilde{O}(dr^2)$ 个随机线性测量，远少于 $d^2$ 个。
• 在测量算子满足受限等距性质时，恢复结果得到保证。
• 研究结果证实了 Gunasekar 等人关于矩阵恢复中隐式正则化的猜想。
• 即使在过参数化情况下，该算法仍为非线性矩阵分解提供隐式正则化。
• 该分析为过参数化矩阵模型中的泛化性建立了理论基础。