[论文解读] Finding Low-Rank Solutions via Non-Convex Matrix Factorization, Efficiently and Provably

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Jun 9, 2016

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文提出双因子梯度下降（BFGD），一种用于通过非凸矩阵分解 $X = UV^\top$ 求解低秩矩阵优化的高效一阶算法。它在受限光滑目标函数下建立了局部次线性收敛性，在目标函数同时具备受限强凸性时实现了线性收敛性，并在适当初始化下提供了可证明的收敛保证。

ABSTRACT

A rank-$r$ matrix $X \\in \\mathbb{R}^{m \ imes n}$ can be written as a product $U V^\ op$, where $U \\in \\mathbb{R}^{m \ imes r}$ and $V \\in \\mathbb{R}^{n \ imes r}$. One could exploit this observation in optimization: e.g., consider the minimization of a convex function $f(X)$ over rank-$r$ matrices, where the set of rank-$r$ matrices is modeled via the factorization $UV^\ op$. Though such parameterization reduces the number of variables, and is more computationally efficient (of particular interest is the case $r \\ll \\min\\{m, n\\}$), it comes at a cost: $f(UV^\ op)$ becomes a non-convex function w.r.t. $U$ and $V$. We study such parameterization for optimization of generic convex objectives $f$, and focus on first-order, gradient descent algorithmic solutions. We propose the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the $U, V$ factors. We show that when $f$ is (restricted) smooth, BFGD has local sublinear convergence, and linear convergence when $f$ is both (restricted) smooth and (restricted) strongly convex. For several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

研究动机与目标

• 开发一种高效的一阶优化方法，用于低秩矩阵恢复，避免昂贵的 SVD 计算。
• 在凸目标函数背景下，为非凸矩阵分解提供可证明的收敛保证。
• 设计简单而有效的初始化方案，确保收敛到低秩解。
• 在受限光滑性和强凸性假设下，建立理论收敛速率——次线性和线性。
• 证明在高维设置下，对因子 $U$ 和 $V$ 进行优化在计算上优于直接对矩阵进行优化。

提出的方法

• 提出双因子梯度下降（BFGD），一种一阶方法，直接在参数化 $X = UV^\top$ 下优化因子矩阵 $U$ 和 $V$。
• 使用固定步长 $\eta$ 对 $U$ 和 $V$ 进行梯度下降更新，更新公式为 $U^{+} = U - \eta \nabla_U f(UV^\top)$ 和 $V^{+} = V - \eta \nabla_V f(UV^\top)$。
• 引入一种距离度量 $\textsc{Dist}(U,V;X^\star_r)^2 = \|U - U^\star R\|_F^2 + \|V - V^\star R\|_F^2$，用于追踪收敛到真实低秩解的过程。
• 利用关键引理（引理 C.6）来界定梯度内积与迭代值差异之间的关系，从而在受限光滑性下实现收敛性分析。
• 通过三角不等式和 Mirsky 定理推导收敛边界，将初始化误差与真实低秩逼近联系起来。
• 证明在受限光滑性和强凸性条件下，到最优解的距离随迭代次数减少，从而确保线性收敛。

实验结果

研究问题

• RQ1 在凸目标函数下，通过梯度下降的非凸矩阵分解能否实现低秩矩阵优化的可证明收敛？
• RQ2 目标函数需满足何种条件，才能在因子空间中实现局部次线性或线性收敛？
• RQ3 如何设计初始化，以确保在不依赖解的全局知识下仍能实现收敛？
• RQ4 对于一般凸目标函数，BFGD 算法是否能避免因子空间中的虚假局部极小值？
• RQ5 在高维设置下，BFGD 的计算效率与基于 SVD 的凸方法相比如何？

主要发现

• 当目标函数 $f$ 为受限光滑时，BFGD 在局部实现次线性收敛，即使不满足强凸性。
• 当 $f$ 同时具备受限光滑性和受限强凸性时，BFGD 展现出线性收敛至最优低秩解的特性。
• 在适当初始化下，该算法具有可证明的收敛性，确保迭代点保持在收敛保证成立的邻域内。
• 基于 $X_0 = -\frac{1}{L} \nabla f(0)$ 的初始化方案确保 $\|X_0 - X^\star\|_F \leq \sqrt{2(1 - \mu/L)} \|X^\star\|_F$，从而界定了初始误差。
• 在给定假设下，到真实低秩解 $X^\star_r$ 的距离随迭代单调递减，如不等式 $\textsc{Dist}(U,V;X^\star_r)^2 \geq \textsc{Dist}(U^+,V^+;X^\star_r)^2$ 所示。
• 该方法通过用矩阵乘法操作替代完整的 SVD 计算，显著提升了大规模场景下的计算效率。