[论文解读] The Nonconvex Geometry of Low-Rank Matrix Optimizations with General Objective Functions

Qiuwei Li, Gongguo Tang|arXiv (Cornell University)|Nov 9, 2016

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文研究了具有通用凸目标函数和核范数正则化的低秩矩阵问题的因子化优化。通过将低秩矩阵进行因子分解，并用基于Frobenius范数的替代函数替代核范数，证明了非凸公式的所有临界点要么是全局最优解，要么是严格鞍点，从而使得局部方法在随机初始化下能够实现全局收敛。

ABSTRACT

This work considers two popular minimization problems: (i) the minimization of a general convex function $f(\mathbf{X})$ with the domain being positive semi-definite matrices; (ii) the minimization of a general convex function $f(\mathbf{X})$ regularized by the matrix nuclear norm $\|\mathbf{X}\|_*$ with the domain being general matrices. Despite their optimal statistical performance in the literature, these two optimization problems have a high computational complexity even when solved using tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer and Monteiro to factor the low-rank variable $\mathbf{X} = \mathbf{U}\mathbf{U}^ op $ (for semi-definite matrices) or $\mathbf{X}=\mathbf{U}\mathbf{V}^ op $ (for general matrices) and also replace the nuclear norm $\|\mathbf{X}\|_*$ with $(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$. In spite of the non-convexity of the resulting factored formulations, we prove that each critical point either corresponds to the global optimum of the original convex problems or is a strict saddle where the Hessian matrix has a strictly negative eigenvalue. Such a nice geometric structure of the factored formulations allows many local search algorithms to find a global optimizer even with random initializations.

研究动机与目标

• 为解决使用标准凸求解器求解低秩矩阵优化问题时计算复杂度过高的问题。
• 通过利用矩阵因子分解，开发更快、可扩展的低秩矩阵恢复算法。
• 分析一般凸目标函数和核范数正则化下因子化公式的几何结构。
• 建立局部优化方法能够全局收敛至真实解的条件。

提出的方法

• 将低秩矩阵 X 因子化为 UU^T（对于半正定矩阵）或 UV^T（对于一般矩阵）。
• 在优化公式中，用 (||U||_F^2 + ||V||_F^2)/2 替代核范数 ||X||_*。
• 将问题表述为关于因子 U 和 V 的非凸优化问题。
• 通过分析临界点处的黑塞矩阵，刻画其性质：要么是全局最优解，要么是严格鞍点。
• 利用微分几何和矩阵分析的工具，证明不存在虚假局部极小值。
• 证明由于几何结构的有利特性，局部搜索算法在较弱条件下可实现全局收敛。

实验结果

研究问题

• RQ1 低秩矩阵优化的因子化公式是否在保留全局最优解的同时消除了虚假局部极小值？
• RQ2 一般凸目标函数的非凸因子化公式中，临界点的几何结构是什么？
• RQ3 局部优化方法是否能够在无需精细初始化的情况下可靠收敛至全局解？
• RQ4 用基于Frobenius范数的替代函数替代核范数，对优化景观有何影响？
• RQ5 在何种条件下，因子化问题能保持与原始凸问题相同的解？

主要发现

• 因子化优化问题的所有临界点，要么是原始凸问题的全局最优解，要么是具有负曲率方向的严格鞍点。
• 由于不存在虚假局部极小值，局部搜索算法可从随机初始化出发收敛至全局解。
• 即使目标函数 f(X) 是一般凸函数（不必然与矩阵恢复相关），该几何结构依然得以保持。
• 用基于Frobenius范数的替代函数替代核范数，并未引入新的虚假临界点。
• 在每个临界点处，黑塞矩阵至少有一个严格负的特征值，除非该点为全局最优解。