[论文解读] Geometry of Factored Nuclear Norm Regularization

Qiuwei Li, Zhihui Zhu+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用 19

一句话总结

该论文通过将矩阵变量参数化为 $X = UV^T$，并用 $\frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$ 替代核范数，研究了核范数正则化矩阵逆问题的非凸因子化重构。在损失函数满足 (2r, 4r)-受限良好条件假设下，作者证明了该因子化问题的所有临界点要么是全局最优解，要么是具有负曲率的严格鞍点，从而使得梯度下降等局部搜索方法能够从随机初始化实现全局收敛。

ABSTRACT

This work investigates the geometry of a nonconvex reformulation of minimizing a general convex loss function $f(X)$ regularized by the matrix nuclear norm $\|X\|_*$. Nuclear-norm regularized matrix inverse problems are at the heart of many applications in machine learning, signal processing, and control. The statistical performance of nuclear norm regularization has been studied extensively in literature using convex analysis techniques. Despite its optimal performance, the resulting optimization has high computational complexity when solved using standard or even tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer-Monteiro to factor the matrix variable $X$ into the product of two smaller rectangular matrices $X=UV^T$ and also replace the nuclear norm $\|X\|_*$ with $(\|U\|_F^2+\|V\|_F^2)/2$. In spite of the nonconvexity of the factored formulation, we prove that when the convex loss function $f(X)$ is $(2r,4r)$-restricted well-conditioned, each critical point of the factored problem either corresponds to the optimal solution $X^\star$ of the original convex optimization or is a strict saddle point where the Hessian matrix has a strictly negative eigenvalue. Such a geometric structure of the factored formulation allows many local search algorithms to converge to the global optimum with random initializations.

研究动机与目标

• 为解决使用凸求解器求解核范数正则化矩阵逆问题时计算成本过高的问题。
• 通过采用非凸因子化参数化 $X = UV^T$，开发一种比凸求解器更快、更可扩展的替代方法。
• 为因子化形式建立理论保证，表明在损失函数良好条件时，该方法可避免虚假局部极小值。
• 证明尽管存在非凸性，局部优化方法仍能全局收敛至最优解。
• 通过继承原始凸问题的最优统计特性，弥合计算效率与统计性能之间的差距。

提出的方法

• 将凸核范数问题 $\min_X f(X) + \lambda\|X\|_*$ 重构为非凸因子化问题 $\min_{U,V} f(UV^T) + \lambda \cdot \frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$。
• 利用 Burer-Monteiro 因子化方法，将变量数量从 $pq$ 降低至 $(p+q)r$，显著降低计算成本。
• 定义因子化目标函数 $g(U,V)$，并通过二阶几何分析其临界点，重点关注 Hessian 矩阵的特征值。
• 引入 (2r, 4r)-受限良好条件性质：对低秩 $X$ 和 $D$，有 $m\|D\|_F^2 \leq \langle \nabla^2 f(X), D \rangle \leq M\|D\|_F^2$，且 $M/m \leq 1.5$。
• 证明 $g(U,V)$ 的每个临界点要么是全局最小化器（对应真实解 $X^*$），要么是满足 $\lambda_{\min}(\nabla^2 g) < 0$ 的严格鞍点。
• 通过几何分析，包括 Hessian 特征值的界和矩阵扰动技术，建立严格鞍点性质。

实验结果

研究问题

• RQ1 因子化非凸核范数正则化形式是否保留了原始凸问题的全局最优性？
• RQ2 局部优化方法（如梯度下降）在因子化形式下是否能无需精心初始化即可收敛至全局最优解？
• RQ3 何种几何结构确保了因子化问题中所有临界点均为全局最优解或严格鞍点？
• RQ4 损失函数 $f(X)$ 的受限良好条件如何影响因子化问题的优化景观？
• RQ5 在何种条件下可确保因子化形式中不存在虚假局部极小值？

主要发现

• 在 (2r, 4r)-受限良好条件假设下，因子化问题的所有临界点要么是全局最小化器，要么是严格鞍点。
• 在任意非最优临界点处，Hessian 矩阵具有严格负特征值，其下界为 $-0.12m\min\{0.5\rho(W)^2, \rho(X^*)\}$，当 $r \geq r^*$ 时成立。
• 当 $r = r^*$ 时，Hessian 矩阵的负特征值下界为 $-0.099m\rho(X^*)$，而在原点处为 $-0.12m\rho(X^*)$。
• 因子化问题继承了原始凸问题的统计性能，因此无需重新推导 oracle 不等式或 minimax 率。
• 几何结构确保了诸如带噪声梯度下降和信赖域方法等局部搜索算法能够逃逸所有鞍点，并从随机初始化实现全局收敛。
• 证明依赖于通过矩阵扰动分析对 Hessian 进行有界，利用正交投影和半正定矩阵的性质。