[论文解读] First-order Methods for Geodesically Convex Optimization

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|Feb 19, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 40

一句话总结

本文首次建立了在哈密顿流形上测地凸优化中一阶方法的全局迭代复杂度边界。论文提出了一种新颖的曲率感知不等式，并在光滑、强测地凸性及非光滑设定下，证明了梯度下降、随机梯度及次梯度方法的收敛速率，表明流形的曲率会直接影响收敛速度。

ABSTRACT

Geodesic convexity generalizes the notion of (vector space) convexity to nonlinear metric spaces. But unlike convex optimization, geodesically convex (g-convex) optimization is much less developed. In this paper we contribute to the understanding of g-convex optimization by developing iteration complexity analysis for several first-order algorithms on Hadamard manifolds. Specifically, we prove upper bounds for the global complexity of deterministic and stochastic (sub)gradient methods for optimizing smooth and nonsmooth g-convex functions, both with and without strong g-convexity. Our analysis also reveals how the manifold geometry, especially \emph{sectional curvature}, impacts convergence rates. To the best of our knowledge, our work is the first to provide global complexity analysis for first-order algorithms for general g-convex optimization.

研究动机与目标

• 填补非线性黎曼流形上测地凸优化全局收敛速率分析的空白。
• 将此前仅限于欧几里得空间的一阶算法复杂度分析，拓展至具有非正截面曲率的哈密顿流形设定。
• 量化流形几何（尤其是截面曲率）对一阶方法收敛速率的影响。
• 为一般测地凸优化中的确定性和随机一阶算法提供首次全面的复杂度分析。
• 为在机器学习和统计学中相关的非欧几里得优化场景中应用一阶方法建立理论基础。

提出的方法

• 为下有曲率的亚历山大罗夫空间开发了一种新的三角距离界，适用于黎曼流形及其更广范畴。
• 将该不等式应用于哈密顿流形上一阶算法的行为分析，尤其在测地凸性条件下。
• 在光滑、非光滑及强测地凸设定下，推导出梯度下降、随机梯度和次梯度方法的迭代复杂度上界。
• 使用黎曼优化工具（如指数映射和重投影）将欧几里得一阶方法推广至非线性流形。
• 提出基于光滑常数、强凸性参数和梯度方差估计的步长规则，并通过矩阵卡其奇平均问题进行实验验证。
• 采用基于重投影的更新规则计算矩阵卡其奇平均，利用矩阵对数和指数函数保持正定性。

实验结果

研究问题

• RQ1 能否为哈密顿流形上测地凸优化中的一阶方法建立全局迭代复杂度边界？
• RQ2 黎曼流形的截面曲率如何影响一阶算法的收敛速率？
• RQ3 随机一阶方法能否在测地凸设定下实现全局收敛并具备复杂度保证？
• RQ4 测地凸优化中是否存在类似于内维尔加速梯度法的非线性版本？
• RQ5 在流形上使用重投影而非指数映射，对一阶算法的收敛速率有何影响？

主要发现

• 本文首次为哈密顿流形上一般测地凸优化中的一阶方法提供了全局迭代复杂度分析。
• 对于光滑测地凸函数，采用固定步长的梯度下降实现线性收敛，与已知结果一致，且无需线搜索。
• 随机梯度方法在光滑函数下收敛速率为 $ O(1/ frac{1}{2}) $，在强测地凸函数下为 $ O(1/t) $，与欧几里得情形一致。
• 收敛速率明确显示出对流形截面曲率的依赖性，非正曲率空间中边界更紧致。
• 在矩阵卡其奇平均问题上的实验结果证实，全梯度下降实现线性收敛，随机变体呈现亚线性收敛速率，验证了理论边界。
• 实验表明，光滑常数估计值 $ 5N $ 始终能保证收敛，提示了实际应用中步长选择规则的可行性。