[论文解读] Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization

Xingguo Li, Junwei Lu+5 more|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques参考文献 42被引用 13

一句话总结

本文通过利用对称性群，特别是旋转不变性，发展了一套通用理论，用于分析非凸矩阵分解的全局优化景观。它刻画了所有驻点——表明存在无穷多个非孤立的严格鞍点和等价的全局最小值——并将参数空间划分为三个区域，其曲率和梯度行为各不相同，从而为从任意初始点出发的迭代算法提供了强有力的全局收敛保证。

ABSTRACT

We propose a general theory for studying the \xl{landscape} of nonconvex \xl{optimization} with underlying symmetric structures z{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}. In specific, we characterize the locations of stationary points and the null space of Hessian matrices \xl{of the objective function} via the lens of invariant groups emoved{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}. As a major motivating example, we apply the proposed general theory to characterize the global \xl{landscape} of the \xl{nonconvex optimization in} low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many nonisolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. Such global landscape implies strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

研究动机与目标

• 开发一个通用框架，用于分析具有对称结构的非凸问题的全局优化景观。
• 利用不变群理论刻画低秩矩阵分解中所有驻点的位置以及Hessian矩阵的零空间。
• 解释旋转对称性如何导致无穷多个非孤立严格鞍点和等价的全局最小值。
• 基于曲率和梯度大小将参数空间划分为三个不同区域，以支持全局收敛性分析。
• 将分析扩展至矩阵感知问题，并为具有任意初始化的迭代算法提供强有力的全局收敛保证。

提出的方法

• 使用不变群理论分析目标函数的对称性结构，特别关注矩阵分解中的旋转不变性。
• 通过利用正交变换Φ ∈ ℝr×r下的不变性，显式识别出所有驻点。
• 将参数空间划分为三个区域：(R1) 具有负曲率的严格鞍点邻域，(R2) 具有强凸性的全局最小值邻域，(R3) 剩余部分，其梯度模较大。
• 分析Hessian矩阵及其零空间，以刻画驻点处的曲率特性。
• 应用浓度不等式和ε-网论证，以有界性地控制经验Hessian与期望Hessian之间的差异，确保在采样下的鲁棒性。
• 通过分析经验损失及其Hessian矩阵，将该框架扩展至矩阵感知问题，证明Hessian和梯度在期望值附近集中。

实验结果

研究问题

• RQ1 矩阵分解中的旋转对称性如何导致无穷多个非孤立严格鞍点和等价的全局最小值？
• RQ2 低秩矩阵分解的优化景观具有怎样的全局几何特性，特别是关于曲率和梯度行为？
• RQ3 能否有意义地将参数空间划分为具有不同优化特性的区域？
• RQ4 在采样条件下，Hessian和梯度的行为如何？其经验估计能否被紧密有界？
• RQ5 基于对整个景观的完整刻画，可以为迭代算法推导出哪些全局收敛保证？

主要发现

• 由于正交群作用下的旋转对称性，低秩矩阵分解的优化景观中存在无穷多个非孤立严格鞍点和等价的全局最小值。
• 参数空间被划分为三个区域：(R1) 具有负曲率的鞍点邻域，(R2) 具有强凸性的全局最小值邻域，(R3) 剩余部分，其梯度模较大。
• 任意驻点处的Hessian矩阵的零空间维度为r(r−1)/2，对应于旋转群的维度，证实了非孤立鞍点的存在。
• 当样本数d满足d = Ω(N1nr/δ)时，经验Hessian与期望Hessian在高概率下紧密集中，其中N1为与范数相关的参数。
• 当d = Ω(N2√nr log(nr)/δ)时，梯度差在高概率下被有界，确保了优化动力学的稳定性。
• 完整的景观刻画意味着，即使从任意初始点出发，梯度下降等迭代算法也具有强有力的全局收敛保证。