[论文解读] Efficiently escaping saddle points on manifolds

Christopher Criscitiello, Nicolas Boumal|arXiv (Cornell University)|Jul 25, 2019

Stochastic Gradient Optimization Techniques被引用 27

一句话总结

本文提出扰动黎曼梯度下降（PRGD）用于黎曼流形上的非凸优化，区分了流形上的梯度步骤与切空间中的扰动步骤。结果表明，PRGD 以高概率在 O((log d)^4 / ε²) 次梯度查询内实现近似二阶最优性——梯度小于 ε 且 Hessian 矩阵与半正定性的距离在 √ε 以内，其复杂度与欧氏空间 PGD 相当，同时保持了对大规模问题（如 PCA 和低秩矩阵补全）的低维数依赖性。

ABSTRACT

Smooth, non-convex optimization problems on Riemannian manifolds occur in machine learning as a result of orthonormality, rank or positivity constraints. First- and second-order necessary optimality conditions state that the Riemannian gradient must be zero, and the Riemannian Hessian must be positive semidefinite. Generalizing Jin et al.'s recent work on perturbed gradient descent (PGD) for optimization on linear spaces [How to Escape Saddle Points Efficiently (2017), Stochastic Gradient Descent Escapes Saddle Points Efficiently (2019)], we study a version of perturbed Riemannian gradient descent (PRGD) to show that necessary optimality conditions can be met approximately with high probability, without evaluating the Hessian. Specifically, for an arbitrary Riemannian manifold $\mathcal{M}$ of dimension $d$, a sufficiently smooth (possibly non-convex) objective function $f$, and under weak conditions on the retraction chosen to move on the manifold, with high probability, our version of PRGD produces a point with gradient smaller than $\epsilon$ and Hessian within $\sqrt{\epsilon}$ of being positive semidefinite in $O((\log{d})^4 / \epsilon^{2})$ gradient queries. This matches the complexity of PGD in the Euclidean case. Crucially, the dependence on dimension is low, which matters for large-scale applications including PCA and low-rank matrix completion, which both admit natural formulations on manifolds. The key technical idea is to generalize PRGD with a distinction between two types of gradient steps: ``steps on the manifold'' and ``perturbed steps in a tangent space of the manifold.'' Ultimately, this distinction makes it possible to extend Jin et al.'s analysis seamlessly.

研究动机与目标

• 为解决在黎曼流形约束下高效逃离鞍点的非凸优化问题挑战。
• 将 Jin 等人提出的扰动梯度下降（PGD）框架从欧氏空间扩展至黎曼流形，同时保持收敛性保证。
• 在不显式计算 Hessian 矩阵的前提下，实现近似二阶最优性——梯度趋于零且 Hessian 接近半正定。
• 保持对流形维数 d 的低依赖性，从而实现对大规模问题（如 PCA 和低秩矩阵补全）的可扩展性。

提出的方法

• 提出一种扰动黎曼梯度下降（PRGD）的变体，将梯度步骤划分为‘流形上的步骤’与‘切空间中的扰动步骤’，以推广 Jin 等人的分析。
• 使用重映射（retraction）将切向量映射回流形，确保迭代点的可行性，同时保持几何结构。
• 在切空间中应用随机扰动以逃离鞍点，模仿欧氏空间 PGD 中的扰动机制。
• 基于对重映射和目标函数 f 光滑性的弱假设，确保在一般黎曼设置下实现收敛。
• 使用广义势函数分析算法，以追踪向二阶最优性推进的进度。
• 建立高概率收敛性，证明在某点处黎曼梯度范数小于 ε，且 Hessian 矩阵与半正定性的距离在 √ε 以内。

实验结果

研究问题

• RQ1 扰动黎曼梯度下降能否在一般黎曼流形上以低维数依赖性高效逃离鞍点？
• RQ2 在流形上实现近似二阶最优性的复杂度与欧氏情况相比如何？
• RQ3 区分流形步骤与切空间扰动在将 PGD 分析推广至黎曼设置中起到何种作用？
• RQ4 是否可在不计算 Hessian 矩阵的前提下，仍保证算法收敛至近似二阶最优点？
• RQ5 所提出的方法是否对大规模问题（如 PCA 和低秩矩阵补全）保持有利的收敛速率？

主要发现

• 所提出的 PRGD 方法以高概率在 O((log d)^4 / ε²) 次梯度查询内实现近似二阶最优性，其复杂度与欧氏 PGD 相当。
• 该算法即使不计算 Hessian 矩阵，也能高效逃离鞍点，仅依赖梯度信息与切空间扰动。
• 复杂度界中对维数 d 的依赖为对数形式，使其适用于高维问题（如 PCA 和低秩矩阵补全）。
• 通过区分流形步骤与扰动切空间步骤，将 Jin 等人的欧氏 PGD 框架推广至黎曼流形。
• 该方法保证以高概率，黎曼梯度范数小于 ε，且 Hessian 矩阵与半正定性的距离在 √ε 以内。
• 该结果在对重映射和目标函数光滑性的弱假设下成立，确保了广泛适用性。