[论文解读] From Nesterov's Estimate Sequence to Riemannian Acceleration

Kwangjun Ahn, Suvrit Sra|arXiv (Cornell University)|Jan 24, 2020

Advanced Numerical Analysis Techniques参考文献 46被引用 15

一句话总结

本文通过一种新颖的势函数分析和一种控制度量扭曲的新几何不等式，首次将Nesterov的估计序列技术扩展至黎曼流形，提出了首个全局加速的一阶优化方法。该方法在测地线凸性和光滑性假设下，实现了 $ O((1 - \xi_1)(1 - \xi_2)\cdots(1 - \xi_t)) $ 的收敛速率，其中 $ \xi_t \to \sqrt{2\mu\Delta_\gamma} $，确保了全局加速。

ABSTRACT

We propose the first global accelerated gradient method for Riemannian manifolds. Toward establishing our result we revisit Nesterov's estimate sequence technique and develop an alternative analysis for it that may also be of independent interest. Then, we extend this analysis to the Riemannian setting, localizing the key difficulty due to non-Euclidean structure into a certain ``metric distortion.'' We control this distortion by developing a novel geometric inequality, which permits us to propose and analyze a Riemannian counterpart to Nesterov's accelerated gradient method.

研究动机与目标

• 通过开发首个全局加速的一阶方法，填补黎曼优化中的空白。
• 重新审视并重新分析Nesterov的估计序列技术，采用势函数方法，提供一种比其原始代数推导更简洁的替代方案。
• 通过分离并控制非欧几里得几何引起的度量扭曲，将该分析推广至黎曼流形。
• 基于黎曼比较定理建立一种新颖的几何不等式，以界定向量投影距离中的扭曲。
• 在测地线凸性和光滑性假设下，证明全局收敛性，并实现与目前已知欧几里得结果相匹配的加速速率。

提出的方法

• 使用势函数（李雅普诺夫函数）重新表述Nesterov的估计序列，得到比原始代数方法更简洁的推导。
• 基于投影距离定义黎曼势函数，以追踪进展并控制度量扭曲。
• 引入一种基于比较几何的新型度量扭曲不等式，以界定向曲率对距离比较的影响。
• 在算法中使用扭曲率 $ T_\kappa(d(x_t, z_t)) \cdot (1 + 2 \cdot d(y_t, z_t)^2) $ 作为计算上可行的代理量。
• 设计一种迭代算法，使扭曲率随时间递减，从而实现全局加速。
• 通过证明 $ \xi_t \to \sqrt{2\mu\Delta_\gamma} $ 来建立收敛性，确保最终达到最优收敛速度。

实验结果

研究问题

• RQ1 Nesterov的加速梯度方法能否在黎曼流形上推广，同时保持全局收敛性和加速性？
• RQ2 是否存在一种更简洁、更几何直观的替代方法，用于Nesterov原始代数估计序列分析？
• RQ3 在黎曼优化中，如何量化并控制非欧几里得几何引起的度量扭曲？
• RQ4 在测地线凸性和光滑性条件下，能否在黎曼流形上实现全局加速速率？
• RQ5 在推广估计序列框架至曲面空间时，需要哪些几何不等式？

主要发现

• 所提出的算法实现了全局收敛速率 $ O((1 - \xi_1)(1 - \xi_2)\cdots(1 - \xi_t)) $，其中 $ \xi_t \to \sqrt{2\mu\Delta_\gamma} $，确保了超越梯度下降的加速性能。
• 该方法为全局加速，满足 $ \xi_t > \mu/L $，并最终达到最优速率 $ \sqrt{2\mu\Delta_\gamma} $，与目前已知的欧几里得最优收敛速率一致。
• 基于黎曼比较定理的新几何不等式控制了度量扭曲，使得Nesterov框架能够被推广至流形。
• 势函数分析为Nesterov估计序列提供了清晰的替代推导，避免了复杂的递归代数运算。
• 该方法不仅适用于哈达玛流形，还可通过引入有界曲率的局部凸性及修改后的扭曲界，推广至非哈达玛情形。
• 算法保持迭代点始终位于一个行为良好的邻域内，确保了整个优化过程中几何假设的有效性。