[论文解读] Gradient Method for Optimization on Riemannian Manifolds with Lower Bounded Curvature

O. P. Ferreira, Maurício Silva Louzeiro+1 more|arXiv (Cornell University)|Jun 7, 2018

Numerical methods in inverse problems参考文献 32被引用 3

一句话总结

本文分析了在具有下界截面曲率的流形上进行凸优化的黎曼梯度法，提出了三种步长策略——Lipschitz、自适应和Armijo，证明了在不假设水平集有界的条件下，完整序列全局收敛至最小值点。针对梯度Lipschitz连续的函数，建立了O(1/ε)的迭代复杂度界，并在黎曼质心和Karcher均值问题上进行了数值验证，自适应线搜索展现出强劲的实验潜力。

ABSTRACT

The gradient method for minimize a differentiable convex function on Riemannian manifolds with lower bounded sectional curvature is analyzed in this paper. The analysis of the method is presented with three different finite procedures for determining the stepsize, namely, Lipschitz stepsize, adaptive stepsize and Armijo's stepsize. The first procedure requires that the objective function has Lipschitz continuous gradient, which is not necessary for the other approaches. Convergence of the whole sequence to a minimizer, without any level set boundedness assumption, is proved. Iteration-complexity bound for functions with Lipschitz continuous gradient is also presented. Numerical experiments are provided to illustrate the effectiveness of the method in this new setting and certify the obtained theoretical results. In particular, we consider the problem of finding the Riemannian center of mass and the so-called Karcher's mean. Our numerical experiences indicate that the adaptive stepsize is a promising scheme that is worth considering.

研究动机与目标

• 建立在具有下界截面曲率的流形上进行凸优化的黎曼梯度法的全局收敛性，且无需假设水平集有界。
• 在目标函数的不同假设下，分析三种不同的步长策略——Lipschitz、自适应和Armijo。
• 推导并验证具有Lipschitz连续梯度的函数的O(1/ε)迭代复杂度界。
• 在黎曼质心和Karcher均值等实际问题上，展示该方法的有效性。
• 评估不同线搜索策略的性能，特别强调自适应步长策略的潜力。

提出的方法

• 在具有下界截面曲率的完备黎曼流形上应用梯度法，利用黎曼梯度定义下降方向。
• 采用三种步长策略：(1) 基于梯度Lipschitz常数的常数步长，(2) 根据局部曲率动态调整的自适应步长，(3) 带回溯的Armijo线搜索。
• 收敛性分析依赖于流形的几何性质和目标函数的凸性，证明在较弱条件下，整个序列收敛至最小值点。
• 对于Lipschitz步长策略，推导出O(1/ε)的迭代复杂度界，确保在O(1/ε)次迭代后满足f(p_N) - f* < ε。
• 显式定义了正单纯形流形上的黎曼距离与度量，使得质心问题的黎曼梯度可进行闭式计算。
• 在合成数据上对黎曼质心和Karcher均值问题进行了数值实验，比较了三种步长策略的性能。

实验结果

研究问题

• RQ1 在具有下界曲率的流形上，黎曼梯度法是否能在不假设水平集有界的条件下，实现完整序列对最小值点的全局收敛？
• RQ2 当目标函数具有Lipschitz连续梯度时，黎曼梯度法的迭代复杂度界是什么？
• RQ3 在黎曼凸优化中，Lipschitz、自适应和Armijo等不同线搜索策略在实际中表现如何？
• RQ4 自适应步长策略是否在黎曼质心和Karcher均值等优化问题中，表现出比传统方法更快的收敛速度和更强的鲁棒性？
• RQ5 理论上的复杂度界在数值实验中在多大程度上成立，特别是针对目标函数值和黎曼梯度范数？

主要发现

• 在目标函数凸性与下界截面曲率条件下，黎曼梯度法生成的完整序列收敛至最小值点，且无需假设水平集有界。
• 针对Lipschitz步长策略，建立了O(1/ε)的迭代复杂度界，确保在O(1/ε)次迭代后满足f(p_N) - f* < ε。
• 在n=100, m=5，且初始点为均匀随机分布的黎曼质心问题上，数值实验表明Lipschitz步长策略在30次迭代内实现收敛。
• 自适应步长策略在收敛速度和鲁棒性方面均优于Lipschitz和Armijo策略，显示出作为有前景方法的潜力。
• 图4(a)和4(b)中的实验结果验证了目标函数值与黎曼梯度范数的理论复杂度界，证实其在实际中的可靠性。
• 质心问题的黎曼梯度被显式计算为grad f(x) = (x_i ∑_j ln(x_i / w_i^j))_i，从而可实现精确解的验证。