[论文解读] Global Riemannian Acceleration in Hyperbolic and Spherical Spaces

David Martínez-Rubio|arXiv (Cornell University)|Dec 7, 2020

Geometric Analysis and Curvature Flows被引用 1

一句话总结

本文首次提出了适用于双曲空间与球面空间上 $L$-光滑且测地线凸或强测地线凸函数的全局加速一阶优化方法，其收敛速率在对数因子和曲率相关因子范围内与欧几里得空间中内维尔的加速梯度下降法（Nesterov's accelerated gradient descent）相匹配。该方法通过将问题转化为一个受约束的非凸欧几里得优化问题，实现了全局收敛，并显式地依赖于初始距离 $R$ 和曲率 $K$。主要贡献在于首次在非欧几里得黎曼流形中实现了可证明的全局加速，解决了黎曼优化领域长期悬而未决的开放问题。

ABSTRACT

We further research on the accelerated optimization phenomenon on Riemannian manifolds by introducing accelerated global first-order methods for the optimization of $L$-smooth and geodesically convex (g-convex) or $\mu$-strongly g-convex functions defined on the hyperbolic space or a subset of the sphere. For a manifold other than the Euclidean space, these are the first methods to \emph{globally} achieve the same rates as accelerated gradient descent in the Euclidean space with respect to $L$ and $\epsilon$ (and $\mu$ if it applies), up to log factors. Due to the geometric deformations, our rates have an extra factor, depending on the initial distance $R$ to a minimizer and the curvature $K$, with respect to Euclidean accelerated algorithms As a proxy for our solution, we solve a constrained non-convex Euclidean problem, under a condition between convexity and \emph{quasar-convexity}, of independent interest. Additionally, for any Riemannian manifold of bounded sectional curvature, we provide reductions from optimization methods for smooth and g-convex functions to methods for smooth and strongly g-convex functions and vice versa. We also reduce global optimization to optimization over bounded balls where the effect of the curvature is reduced.

研究动机与目标

• 在双曲与球面流形上建立全局加速的一阶优化方法，此前此类加速仅在局部范围内实现。
• 解决黎曼一阶方法是否能在非欧几里得流形（如双曲与球面空间）上实现与欧几里得空间中内维尔加速梯度下降法相同的收敛速率这一长期开放问题。
• 提出一种还原框架，用于在截面曲率有界的流形上，将光滑且测地线凸函数的优化与强测地线凸函数的优化相互转换。
• 将曲率流形上的全局优化问题转化为有界半径球体上的优化问题，从而最小化曲率引起的失真影响。

提出的方法

• 提出一种新颖的算法框架，通过将黎曼优化问题嵌入一个具有凸性与拟凸性之间条件的受约束非凸欧几里得优化问题中，实现在双曲与球面空间上的全局加速。
• 采用一种还原技术，将无界流形上的优化问题转化为有界半径黎曼球体上的优化问题，从而降低曲率对收敛速率的影响。
• 基于几何引理提出一种新的证明策略，将黎曼曲率与目标函数的条件数联系起来，尤其在双曲空间中表现显著。
• 采用混合策略，结合黎曼梯度下降（RGD）与一种局部加速方法，实现与最优已知加速界相匹配的最坏情况收敛速率。
• 对双曲空间上强测地线凸函数的条件数进行精细化分析，证明其至少为 $\Omega(R)$，从而为收敛速率界提供依据。
• 为任意具有有界截面曲率的黎曼流形提供一个通用的还原框架，实现测地线凸与强测地线凸函数优化方法之间的相互转换。

实验结果

研究问题

• RQ1 黎曼一阶方法是否能在非欧几里得流形（如双曲与球面空间）上实现与内维尔加速梯度下降法在欧几里得空间中相同的全局收敛速率？
• RQ2 曲率与初始距离到最小值点在黎曼优化中如何影响或促成加速？
• RQ3 对于光滑且测地线凸函数，是否也能在曲率流形上实现全局加速，而不仅限于强测地线凸函数？
• RQ4 如何通过有界半径球体还原方法降低曲率流形的几何复杂性，以实现高效优化？
• RQ5 黎曼优化中加速的根本极限是什么？近期的下界结果如何影响实现内维尔式收敛速率的可行性？

主要发现

• 所提出的算法实现了与内维尔加速梯度下降法在欧几里得空间中相当的全局收敛速率，仅受对数因子和依赖于曲率 $K$ 与初始距离 $R$ 的乘法常数影响。
• 对于双曲空间中 $μ$-强测地线凸函数，收敛速率为 $\widetilde{O}\left(\sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$，在对数与 $R$-相关因子范围内与欧几里得空间中的加速速率一致。
• 本文证明，在曲率为 $K = -1$ 的双曲空间中，$L$-光滑且 $μ$-强测地线凸函数的条件数 $\kappa = L/\mu$ 至少为 $\Omega(R)$，与最优情况下 $R \cot(R)$ 的紧界一致。
• 提出一种新颖的还原方法，将流形上的全局优化问题转化为一系列有界半径黎曼球体上的顺序优化，显著降低了曲率的影响。
• 本文提出一种混合算法，结合 RGD 与局部加速方法，实现最坏情况收敛速率 $\widetilde{O}\left(\frac{L}{\mu} + \sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$，与目前已知的最佳加速界一致。
• 本工作驳斥了双曲空间中无法实现加速的论断，表明尽管几何结构引入了依赖于 $R$ 的项，但当 $R$ 固定或 $\varepsilon$ 足够小时，仍可实现加速速率。