[论文解读] Fast stochastic optimization on Riemannian manifolds.

Hongyi Zhang, Sashank J. Reddi+1 more|arXiv (Cornell University)|May 23, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 15

一句话总结

本文提出了黎曼SVRG，这是首个针对黎曼流形上测地光滑函数有限和的快速随机优化方法。它为凸与非凸情形提供了非渐近收敛保证，收敛速率受流形曲率影响，标志着非凸黎曼优化中首次实现此类分析。

ABSTRACT

We study optimization of finite sums of \emph{geodesically} smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sum problems have witnessed a huge surge of interest in recent years, all existing work is limited to vector space problems. We introduce \emph{Riemannian SVRG}, a new variance reduced Riemannian optimization method. We analyze this method for both geodesically smooth \emph{convex} and \emph{nonconvex} functions. Our analysis reveals that Riemannian SVRG comes with advantages of the usual SVRG method, but with factors depending on manifold curvature that influence its convergence. To the best of our knowledge, ours is the first \emph{fast} stochastic Riemannian method. Moreover, our work offers the first non-asymptotic complexity analysis for nonconvex Riemannian optimization (even for the batch setting). Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

研究动机与目标

• 解决黎曼流形问题中缺乏快速随机优化方法的问题，特别是针对有限和目标函数。
• 将此前仅限于向量空间的方差缩减技术扩展至黎曼设置，以提升收敛速度。
• 提供非凸黎曼优化的首个非渐近复杂度分析，即使在批量设置下亦成立。
• 为黎曼SVRG在测地光滑函数上的收敛性建立理论收敛速率，包含与曲率相关的因子。
• 从黎曼视角出发，对基于方差缩减的主成分分析（PCA）提供简洁透明的收敛性分析。

提出的方法

• 提出黎曼SVRG，一种专为黎曼流形上测地光滑函数的有限和问题设计的方差缩减随机优化算法。
• 通过使用重投影（retraction）与向量传输（vector transport）将SVRG框架适配至黎曼几何，以处理非欧几里得域约束。
• 利用测地光滑性来界定随机梯度的方差，确保在考虑曲率的条件下实现收敛。
• 在收敛性分析中引入与曲率相关的因子，反映流形几何对优化速度的影响。
• 采用双层结构：外层循环计算全梯度估计，内层循环使用带控制变量的随机梯度实现方差缩减。
• 利用指数映射与平行移动等黎曼工具进行收敛性分析，以保持几何一致性。

实验结果

研究问题

• RQ1 能否成功将欧几里得优化中的方差缩减技术扩展至黎曼流形上的有限和问题？
• RQ2 针对测地光滑的凸与非凸函数，随机黎曼优化的非渐近收敛速率是什么？
• RQ3 流形曲率如何影响随机黎曼优化方法的收敛行为？
• RQ4 黎曼SVRG能否为方差缩减PCA等问题提供简洁透明的收敛性分析？
• RQ5 是否可能在批量与随机设置下，首次建立非凸黎曼优化的非渐近复杂度边界？

主要发现

• 黎曼SVRG是首个快速随机黎曼优化方法，在收敛性上优于标准的黎曼随机梯度下降。
• 该方法在测地光滑的凸与非凸函数上均实现了非渐近收敛速率，且速率依赖于流形曲率。
• 收敛性分析揭示了与曲率相关的调节因子，量化了几何结构对优化性能的影响。
• 该框架使从黎曼视角出发，对基于方差缩减的PCA实现简短透明的收敛性分析成为可能。
• 本工作首次建立了非凸黎曼优化的非渐近复杂度分析，即使在批量情况下亦成立，填补了关键的理论空白。
• 理论结果表明，黎曼SVRG继承了标准SVRG的优势，同时适应了流形的内在几何结构。