[論文レビュー] Faster First-Order Methods for Stochastic Non-Convex Optimization on Riemannian Manifolds

Pan Zhou, Xiao–Tong Yuan+1 more|arXiv (Cornell University)|Nov 20, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、リーマン多様体上の非凸最適化問題に向けた、SPIDER勾配推定手法を拡張した新しいリーマン確率的最適化手法R-SPIDERを提案する。有限和設定では$Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$、オンライン設定では$Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$の収束複雑度を達成し、先行するリーマン第一順位手法を上回る性能を示した。

ABSTRACT

SPIDER (Stochastic Path Integrated Differential EstimatoR) is an efficient gradient estimation technique developed for non-convex stochastic optimization. Although having been shown to attain nearly optimal computational complexity bounds, the SPIDER-type methods are limited to linear metric spaces. In this paper, we introduce the Riemannian SPIDER (R-SPIDER) method as a novel nonlinear-metric extension of SPIDER for efficient non-convex optimization on Riemannian manifolds. We prove that for finite-sum problems with $n$ components, R-SPIDER converges to an $\\epsilon$-accuracy stationary point within $\\mathcal{O}\\big(\\min\\big(n+\\frac{\\sqrt{n}}{\\epsilon^2},\\frac{1}{\\epsilon^3}\\big)\\big)$ stochastic gradient evaluations, which is sharper in magnitude than the prior Riemannian first-order methods. For online optimization, R-SPIDER is shown to converge with $\\mathcal{O}\\big(\\frac{1}{\\epsilon^3}\\big)$ complexity which is, to the best of our knowledge, the first non-asymptotic result for online Riemannian optimization. Especially, for gradient dominated functions, we further develop a variant of R-SPIDER and prove its linear convergence rate. Numerical results demonstrate the computational efficiency of the proposed methods.

研究の動機と目的

• リーマン多様体上での確率的非凸最適化に適した、理論的に低い計算複雑度を保証する第一順位手法の不足を解消すること。
• 元来線形空間を想定して設計されたSPIDER勾配推定手法を、非線形なリーマン多様体へ拡張すること。
• リーマン多様体上での有限和およびオンライン設定において、非漸近的収束複雑度の境界を確立すること。
• 勾配優位関数に対して線形収束を達成するR-SPIDERの変種を開発すること。
• R-SPIDERの計算的優位性を、既存のリーマン第一順位手法と比較して実験的に検証すること。

提案手法

• リーマン多様体上での確率的経路統合微分推定を用いる、SPIDER勾配推定器のリーマン拡張であるR-SPIDERを提案する。
• 反復点の更新にリーマン指数写像を用い、多様体構造と幾何学的整合性を保証する。
• 多様体上の局所的経路積分を用いて、勾配ノイズの適応的制御を実現する分散低減型勾配推定戦略を導入する。
• リーマン設定下での、完全勾配評価と確率的勾配分散のトレードオフを分析することで、複雑度境界を導出する。
• 初期反復での収束を加速するために、適応的学習率と正規化を組み込んだ変種R-SPIDER-Aを開発する。
• 主成分分析（PCA）、行列補完、辞書学習を含む、リーマン多様体上での有限和およびオンライン非凸最適化問題に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 SPIDER風の勾配推定は、リーマン多様体へ効果的に拡張可能であり、非凸最適化における低計算複雑度を達成できるか？
• RQ2 有限和およびオンライン非凸設定下におけるリーマン第一順位手法の最適な複雑度境界は何か？
• RQ3 SPIDERフレームワークは、リーマン多様体上での勾配優位関数に対して線形収束を達成できるか？
• RQ4 実際の応用において、R-SPIDERは既存のリーマン確率的最適化手法と比較して、収束速度と安定性に優れているか？
• RQ5 適応的学習率と勾配正規化は、多様体上でのR-SPIDERの収束挙動をさらに改善できるか？

主な発見

• R-SPIDERは、有限和問題に対して$Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$の確率的勾配評価回数を達成し、既存のリーマン手法よりも鋭い境界を示した。
• オンライン最適化では$Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$の複雑度を達成し、本設定で初めて非漸近的結果をもたらした。
• R-SPIDER-Aは$Ñ$-勾配優位関数に対して線形収束を達成し、複雑度は$Ó\big{(}\min\big{(}(n+\tau L\sqrt{n})\log(\frac{1}{\epsilon}),\frac{\tau L\sigma}{\epsilon}\big{)}\big{)}$となった。
• PCAおよび低ランク行列補完における数値実験では、R-SPIDERおよびR-SPIDER-AがR-SGD、R-SVRG、R-SRGよりも著しく速く収束し、特に後期段階で顕著な優位性を示した。
• 勾配正規化と適応的学習率のおかげで、R-SPIDERの収束曲線はベースライン手法よりも鋭くなり、後期反復における進捗が向上した。
• 実行時間比較から、IFO複雑度が全体の計算性能を的確に反映しており、理論的複雑度境界の妥当性が裏付けられた。