[论文解读] Finding Low-rank Solutions to Matrix Problems, Efficiently and Provably.

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Jun 10, 2016

Sparse and Compressive Sensing Techniques参考文献 91被引用 32

一句话总结

本文提出了一种一阶优化算法——双因子梯度下降（BFGD），通过将矩阵分解为U和V两部分，高效地最小化低秩矩阵上的凸函数。该算法在光滑函数下实现局部次线性收敛，在强凸性条件下实现线性收敛，并通过有效的初始化方案实现了实际性能的提升。

ABSTRACT

A rank-r matrix X \in R^{m x n} can be written as a product UV', where U \in R^{m x r} and V \in R^{n x r}. One could exploit this observation in optimization: e.g., consider the minimization of a convex function f(X) over rank-r matrices, where the scaffold of rank-r matrices is modeled via the factorization in U and V variables. Such heuristic has been widely used before for specific problem instances, where the solution sought is (approximately) low-rank. Though such parameterization reduces the number of variables and is more efficient in computational speed and memory requirement (of particular interest is the case r << min{m, n}), it comes at a cost: f(UV') becomes a non-convex function w.r.t. U and V. In this paper, we study such parameterization in optimization of generic convex f and focus on first-order, gradient descent algorithmic solutions. We propose an algorithm we call the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the U, V factors. We show that when f is smooth, BFGD has local sublinear convergence, and linear convergence when f is both smooth and strongly convex. Moreover, for several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

研究动机与目标

• 为解决通过矩阵分解的非凸参数化优化低秩矩阵上的凸函数的挑战。
• 开发一种直接在低秩因子U和V上操作的高效一阶算法，降低计算与内存开销。
• 在所提出的BFGD框架下，建立理论收敛保证——光滑函数下为次线性收敛，强凸函数下为线性收敛。
• 提供简单而有效的初始化方案，确保在关键应用中收敛性质在实践中成立。

提出的方法

• 提出双因子梯度下降（BFGD），一种交替更新矩阵分解X = UV^T中U和V因子的梯度下降算法。
• 在非凸参数化f(UV^T)上运行，利用一阶信息迭代最小化目标函数。
• 对f施加光滑性假设以确保下降与收敛，通过分析因子化参数空间推导收敛速率。
• 引入针对具体应用的初始化策略，使初始点位于收敛保证有效的区域内。
• 以因子化变量的角度分析收敛性，表明在标准凸性与光滑性条件下，该算法可收敛至具有低秩结构的解。
• 利用因子化问题的结构，将变量数从O(mn)减少至O((m+n)r)，当r ≪ min{m,n}时显著提升计算效率。

实验结果

研究问题

• RQ1 在低秩矩阵分解的U和V因子上运行的一阶方法，能否对一般凸函数实现可证明收敛？
• RQ2 当目标函数为光滑或强凸时，此类方法可建立何种收敛速率？
• RQ3 如何设计有效的初始化，以确保算法从收敛保证有效的区域开始？
• RQ4 BFGD算法在确保理论性能保证的同时，能在多大程度上保持计算效率？
• RQ5 将BFGD应用于低秩矩阵优化问题时，其收敛特性与标准方法相比如何？

主要发现

• 当目标函数f为光滑函数时，BFGD实现局部次线性收敛速率，确保迭代过程中持续向解逼近。
• 当f同时为光滑与强凸函数时，BFGD表现出线性收敛，即误差随每次迭代呈指数下降。
• 所提出的初始化方案生成的起始点足够接近解流形，使收敛保证在实践中成立。
• 通过在O((m+n)r)个变量上操作而非O(mn)个，该算法保持了计算与内存效率，适用于具有小秩解的大规模问题。
• 理论收敛结果具有一般性，适用于任意凸函数f，而不仅限于特定问题实例。
• 该方法为传统低秩优化启发式方法提供了一种可证明且高效的替代方案，后者缺乏理论保证。