[论文解读] Faster First-Order Methods for Stochastic Non-Convex Optimization on Riemannian Manifolds

Pan Zhou, Xiao–Tong Yuan+1 more|arXiv (Cornell University)|Nov 20, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出R-SPIDER，一种新颖的黎曼随机优化方法，将SPIDER梯度估计技术扩展至黎曼流形上的非凸问题。其收敛复杂度界得到改进——在有限和设置下为$Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$，在在线设置下为$Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$，优于先前的黎曼一阶方法。

ABSTRACT

SPIDER (Stochastic Path Integrated Differential EstimatoR) is an efficient gradient estimation technique developed for non-convex stochastic optimization. Although having been shown to attain nearly optimal computational complexity bounds, the SPIDER-type methods are limited to linear metric spaces. In this paper, we introduce the Riemannian SPIDER (R-SPIDER) method as a novel nonlinear-metric extension of SPIDER for efficient non-convex optimization on Riemannian manifolds. We prove that for finite-sum problems with $n$ components, R-SPIDER converges to an $\\epsilon$-accuracy stationary point within $\\mathcal{O}\\big(\\min\\big(n+\\frac{\\sqrt{n}}{\\epsilon^2},\\frac{1}{\\epsilon^3}\\big)\\big)$ stochastic gradient evaluations, which is sharper in magnitude than the prior Riemannian first-order methods. For online optimization, R-SPIDER is shown to converge with $\\mathcal{O}\\big(\\frac{1}{\\epsilon^3}\\big)$ complexity which is, to the best of our knowledge, the first non-asymptotic result for online Riemannian optimization. Especially, for gradient dominated functions, we further develop a variant of R-SPIDER and prove its linear convergence rate. Numerical results demonstrate the computational efficiency of the proposed methods.

研究动机与目标

• 为解决黎曼流形上非凸随机优化缺乏高效一阶方法且具有可证明低计算复杂度的问题。
• 将原本专为线性空间设计的SPIDER梯度估计技术扩展至非线性黎曼流形。
• 为黎曼流形上的有限和与在线设置建立非渐近收敛复杂度界。
• 开发R-SPIDER的一个变体，实现梯度支配函数的线性收敛。
• 通过实验验证R-SPIDER相较于现有黎曼一阶方法在计算效率上的优越性。

提出的方法

• 提出R-SPIDER，即SPIDER梯度估计器在黎曼流形上的扩展，利用流形上的随机路径积分微分估计。
• 采用黎曼指数映射沿测地线更新迭代点，确保与流形结构的几何一致性。
• 引入一种方差减少的梯度估计策略，通过流形上的局部路径积分自适应控制梯度噪声。
• 通过分析黎曼设置下全梯度计算与随机梯度方差之间的权衡，推导出复杂度界。
• 开发一种变体R-SPIDER-A，采用自适应学习率与归一化，以在早期迭代中加速收敛。
• 将该方法应用于黎曼流形上的有限和与在线非凸优化问题，包括主成分分析（PCA）、矩阵补全和字典学习。

实验结果

研究问题

• RQ1 SPIDER风格的梯度估计能否有效扩展至黎曼流形，以实现在非凸优化中的低计算复杂度？
• RQ2 黎曼一阶方法在有限和与在线非凸设置下的最优复杂度界是什么？
• RQ3 SPIDER框架能否在黎曼流形上实现梯度支配函数的线性收敛？
• RQ4 在实践中，R-SPIDER相较于现有黎曼随机优化方法在收敛速度与稳定性方面表现如何？
• RQ5 自适应学习率与梯度归一化是否能进一步改善R-SPIDER在流形上的收敛行为？

主要发现

• R-SPIDER在有限和问题中实现了$Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$次随机梯度评估的复杂度界，优于先前的黎曼方法。
• 在在线优化中，R-SPIDER达到$Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$复杂度，这是该设置下的首个非渐近结果。
• 变体R-SPIDER-A对$Ñ$-梯度支配函数实现线性收敛，复杂度为$Ó\big{(}\min\big{(}(n+\tau L\sqrt{n})\log(\frac{1}{\epsilon}),\frac{\tau L\sigma}{\epsilon}\big{)}\big{)}$。
• 在PCA与低秩矩阵补全上的数值实验表明，R-SPIDER与R-SPIDER-A的收敛速度显著快于R-SGD、R-SVRG与R-SRG，尤其在后期阶段。
• 由于梯度归一化与自适应学习率，R-SPIDER的收敛曲线比基线方法更陡峭，增强了后期迭代的进展。
• 运行时间比较表明，IFO复杂度能准确反映整体计算性能，验证了理论复杂度界的正确性。