[论文解读] Momentum Improves Optimization on Riemannian Manifolds

Foivos Alimisis, Antonio Orvieto+2 more|arXiv (Cornell University)|Feb 11, 2020

Stochastic Gradient Optimization Techniques参考文献 22被引用 9

一句话总结

本文提出了一种基于动量的黎曼优化算法，可在截面曲率有界的流形上实现测地凸函数和弱拟凸函数的加速收敛。通过引入一种考虑流形曲率的新估计序列，该方法在最坏情况收敛率上优于黎曼梯度下降（RGD），并在球面和正定矩阵上的实验中表现出优越性，尤其在早期迭代中表现更优。

ABSTRACT

We develop a new Riemannian descent algorithm that relies on momentum to improve over existing first-order methods for geodesically convex optimization. In contrast, accelerated convergence rates proved in prior work have only been shown to hold for geodesically strongly-convex objective functions. We further extend our algorithm to geodesically weakly-quasi-convex objectives. Our proofs of convergence rely on a novel estimate sequence that illustrates the dependency of the convergence rate on the curvature of the manifold. We validate our theoretical results empirically on several optimization problems defined on the sphere and on the manifold of positive definite matrices.

研究动机与目标

• 开发一种利用动量加速收敛的黎曼一阶优化方法，适用于测地凸目标函数。
• 将基于动量的加速从强凸函数扩展到更广泛的测地凸和弱拟凸函数类别。
• 提供考虑流形曲率的理论收敛保证，优于现有黎曼梯度下降（RGD）的收敛界。
• 在具有正负曲率的问题上，包括Karcher均值和算子缩放问题，对算法进行实证验证。
• 证明该方法在强凸性微弱或不存在时，仍能实现比RGD和RAGD更快的初始收敛速度。

提出的方法

• 该算法使用小维度松弛（sDR）预言机执行自适应线性耦合，灵感来自AGD-SDR（Nesterov等，2018）。
• 通过结合Nesterov等（2018）与Zhang & Sra（2018）的技术，构建了一种新颖的估计序列，引入与曲率相关的项。
• 该方法在具有有界截面曲率的黎曼流形上运行，确保在测地凸性条件下的理论收敛性。
• 采用测地线搜索在每次迭代中自适应选择动量参数βk，实现动态加速。
• 理论分析依赖于一种曲率感知的估计序列，以流形几何为依据，界定了误差衰减速率。
• 该算法设计注重实用性与计算效率，sDR预言机的求解采用线性时间近似方法。

实验结果

研究问题

• RQ1 能否在黎曼流形上严格将基于动量的加速扩展至非强凸的测地凸函数？
• RQ2 底层流形的曲率如何影响基于动量的黎曼优化的收敛速率？
• RQ3 能否构造一种新型估计序列，以捕捉非强凸目标函数下动量与流形几何之间的相互作用？
• RQ4 在强凸性微弱或不存在时，该算法是否在实践中优于RGD和RAGD？
• RQ5 工作域大小对基于动量方法的理论收敛保证有何影响？

主要发现

• 当工作域不过大时，所提算法在测地凸函数上的最坏情况收敛速率优于黎曼梯度下降（RGD）。
• 当工作域满足d(M) ≈ 0.012时，基于曲率与域大小约束，该算法至少在166次迭代内实现加速。
• 实证结果表明，即使强凸性常数较小（μ = 1），该方法在Karcher均值问题上的收敛速度仍快于RGD和RAGD。
• 在算子缩放问题中，该方法实现了亚线性但快于RGD的收敛速率，与已知复杂度界一致。
• 收敛速率中的误差项以O(d(M)/k)衰减，虽未完全加速，但衰减迅速，在早期阶段具有可忽略的数值影响。
• 该方法在正曲率（球面）和负曲率（正定矩阵）流形上均表现出鲁棒性与更快的初始收敛速度。