[論文レビュー] Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds

Hongyi Zhang, Sashank J. Reddi+1 more|arXiv (Cornell University)|May 23, 2016

3D Shape Modeling and Analysis参考文献 36被引用数 85

ひとこと要約

本稿では、リーマン多様体上の有限和問題における、初めてのバリアンス低減 stochastic 最適化手法 Riemannian SVRG を提案する。滑らかで強い凸関数に対してグローバル線形収束を達成し、非凸リーマン最適化における非漸近的複雑度解析を初めて提供する。収束速度は多様体の曲率に依存する。

ABSTRACT

We study optimization of finite sums of geodesically smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sums have witnessed tremendous attention in the recent years, existing work is limited to vector space problems. We introduce Riemannian SVRG (RSVRG), a new variance reduced Riemannian optimization method. We analyze RSVRG for both geodesically convex and nonconvex (smooth) functions. Our analysis reveals that RSVRG inherits advantages of the usual SVRG method, but with factors depending on curvature of the manifold that influence its convergence. To our knowledge, RSVRG is the first provably fast stochastic Riemannian method. Moreover, our paper presents the first non-asymptotic complexity analysis (novel even for the batch setting) for nonconvex Riemannian optimization. Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

研究の動機と目的

• 機械学習や行列幾何における一般的なリーマン多様体上の有限和問題における高速な stochastic 最適化手法の不足に取り組む。
• 標準的なリーマン stochastic および full gradient 法の限界（収束が遅い、1イテレーションあたりのコストが高い）を克服する。
• リーマン幾何に特化したバリアンス低減フレームワークを構築し、曲がった多様体上のスケーラブルな問題に対してより速い収束を実現する。
• 凸および非凸設定の両方において、stochastic Riemannian 最適化の非漸近的グローバル収束解析を初めて提供する。
• 主成分分析の最尤固有ベクトル計算および正定値行列上のリーマン多様体重心推定への応用を通じて、手法の有効性を示す。

提案手法

• SVRG フレームワークを用いて、リーマン多様体に適応した stochastic バリアンス低減手法 Riemannian SVRG (Rsvrg) を提案する。
• リーマン多様体上の更新を定義するために、指数写像と再構成写像（retraction）を活用し、射影ステップを回避する。
• 特に断面曲率を考慮した、多様体の曲率を収束レートの境界に組み込む、革新的な理論的解析を導入する。
• 測地線滑らかさと測地線凸性の仮定を用いて、凸および非凸設定の両方で収束保証を導出する。
• variance-reduced PCA やリーマン多様体重心計算といった具体的な問題に手法を適用し、ベースライン手法よりも優れた収束性能を示す。
• 収束レートが曲率パラメータに依存することを確立し、最適なステップサイズは $ O(1/( heta^3 n)) $ に比例する。ここで $ heta $ は多様体の曲率に関連する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間におけるバリアンス低減技術を、リーマン多様体上の有限和最適化問題に成功裏に拡張できるか？
• RQ2 測地線的に非凸的かつ勾配に依存しない関数に対する、stochastic Riemannian 最適化のグローバル非漸近的収束速度は何か？
• RQ3 多様体の曲率は、stochastic Riemannian 最適化アルゴリズムの収束挙動にどのように影響するか？
• RQ4 Riemannian SVRG は、多様体上での測地線的強い凸関数に対して線形収束を達成できるか？また、バッチ法や stochastic gradient 法と比べてどのように差がつくか？
• RQ5 リーマン形式化は、PCA やリーマン多様体重心計算といった古典的問題に対して、どのような洞察を提供するか？

主な発見

• Riemannian SVRG は、測地線的強い凸関数に対してグローバル線形収束を達成し、収束速度が多様体の曲率に明示的に依存する。
• 非凸設定における stochastic Riemannian 最適化の非漸近的複雑度解析を、初めて提供する。バッチケースでさえも有効である。
• variance-reduced PCA に対して、Riemannian 形式化は収束解析を明確かつ簡潔に提示でき、VR-PCA の高速収束を説明する。
• 実験結果から、Riemannian SVRG は反復複雑度において、Riemannian full gradient (RGD) および stochastic gradient (RSGD) 手法を上回り、特に大規模問題で顕著に優れる。
• リーマン多様体重心推定タスクにおいて、Rsvrg は線形収束を達成し、ベースライン手法と比較してオракル呼び出し回数を著しく削減する。
• Rsvrg の IFO 複雑度は $ 1/ ext{eigengap} $ に線形に比例し、VR-PCA の性能と一致する。これにより、両手法の間には密接な幾何的関係があることが確認される。