[論文レビュー] R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate

Jingzhao Zhang, Hongyi Zhang+1 more|arXiv (Cornell University)|Nov 10, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用数 26

ひとこと要約

本稿では、リーマン多様体上での非凸および強凸問題に対して、曲率に依存しない収束レートを達成するリーマン確率的最適化アルゴリズムR-SPIDERを提案する。SPIDERの分散低減フレームワークをリーマン幾何に適応させることで、有界な反復点の仮定を不要とし、有限和および確率的設定の両方で先行手法よりも高速な収束を達成する。曲率依存性がなく、ユークリッド空間での最適レートに一致する。

ABSTRACT

We study smooth stochastic optimization problems on Riemannian manifolds. Via adapting the recently proposed SPIDER algorithm \citep{fang2018spider} (a variance reduced stochastic method) to Riemannian manifold, we can achieve faster rate than known algorithms in both the finite sum and stochastic settings. Unlike previous works, by \emph{not} resorting to bounding iterate distances, our analysis yields curvature independent convergence rates for both the nonconvex and strongly convex cases.

研究の動機と目的

• 従来の手法が有界な反復点や曲率依存解析を要するという制限を克服し、高速で分散低減されたリーマン確率的最適化アルゴリズムの開発。
• リーマン多様体上での測地的滑らかさを満たす非凸および強凸問題に対して、有限和および確率的設定の両方で最適な収束レートを達成すること。
• 収束保証の多様体の直径および断面曲率への依存性を排除し、非コンパクト多様体への広範な適用を可能にすること。
• 特に勾配優勢および強凸問題において、リーマン設定での最良に知られる反復回数およびオракル複雑度の境界を達成または上回ること。

提案手法

• リーマン多様体上へのユークリッド空間のSPIDERアルゴリズムの適応において、リーマン多様体上の再構成写像とベクトル輸送を用い、幾何的一致性を維持する。
• 連続する反復点間の距離に基づいて、適応的サンプルサイズを用いた確率的勾配の計算を実行する分散低減メカニズムを採用する。
• 勾配優勢問題と強凸問題にそれぞれ特化した2つの変種、R-SPIDER-GD1およびR-SPIDER-GD2を導入し、動的ステップサイズおよびサンプルサイズスケジューリングを実装する。
• 反復点の更新にリーマン指数写像および対数写像を用い、再構成写像と逆再構成写像により、更新が多様体上に留まるように保証する。
• 反復点間の距離をバインドしない独自のアプローチを用いた収束解析により、レートに曲率依存項を含まずに済む。
• 平行輸送を用いて完全勾配と確率的勾配を組み合わせる再帰的勾配推定戦略を採用し、効率的な分散低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上での分散低減確率的最適化は、多様体の曲率や直径に依存しない収束レートを達成できるか？
• RQ2 SPIDERアルゴリズムをリーマン幾何に適応することで、非凸設定におけるリーマン確率的勾配降下法よりも高速な収束が達成できるか？
• RQ3 有限和および確率的最適化問題の両方で、リーマン多様体上での曲率に依存しないレートを達成できるか？
• RQ4 勾配優勢および強凸問題におけるオラクル複雑度とサンプルサイズ要件の観点から、提案手法は既存手法とどのように比較できるか？
• RQ5 実用的であり、理論的保証が強く、既存手法を上回る経験的性能を示すリーマン確率的アルゴリズムを設計可能か？

主な発見

• 非凸有限和問題において、R-SPIDERは$\mathcal{O}(n + \frac{n^{1/2}}{\epsilon^2})$のIFO複雑度を達成し、従来の最良レート$\mathcal{O}(n + \frac{n^{2/3}\zeta^{1/2}}{\epsilon^2})$を上回る。
• 非凸確率的問題において、R-SPIDERは$\mathcal{O}(\frac{1}{\epsilon^3})$の収束レートを達成し、従来の最良レート$\mathcal{O}(\frac{1}{\epsilon^4})$を上回る。
• 強凸有限和ケースでは、R-SPIDER-GD1が$\mathcal{O}((n + \kappa n^{1/2})\log(\frac{1}{\epsilon}))$のオラクル複雑度を達成し、R-SPIDER-GD2が$\mathcal{O}((n + \kappa^2)\log(\frac{1}{\epsilon}))$を達成する。両者とも従来の境界を改善する。
• 収束解析は曲率に依存せず、すべての反復点が多様体のコンパクト部分集合内に存在するという仮定を不要にした。
• 提案手法は、有限和ケースにおけるユークリッド設定で知られている下界に一致し、サンプル複雑度の観点から最適性を確立する。
• 最小限の仮定の下で理論的保証を確立し、有界な反復点や曲率の境界を要件としない。これにより、実用的および理論的な頑健性が向上する。