[論文レビュー] Fast stochastic optimization on Riemannian manifolds.

Hongyi Zhang, Sashank J. Reddi+1 more|arXiv (Cornell University)|May 23, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 15

ひとこと要約

この論文は、リーマン多様体上の測地線的滑らか関数の有限和に対する、最初の高速確率的最適化手法であるリーマン多様体SVRGを紹介する。凸および非凸設定の両方において、非漸近的収束保証を提供し、収束速度は多様体の曲率に依存する。これは非凸リーマン最適化における最初のこのような解析である。

ABSTRACT

We study optimization of finite sums of \emph{geodesically} smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sum problems have witnessed a huge surge of interest in recent years, all existing work is limited to vector space problems. We introduce \emph{Riemannian SVRG}, a new variance reduced Riemannian optimization method. We analyze this method for both geodesically smooth \emph{convex} and \emph{nonconvex} functions. Our analysis reveals that Riemannian SVRG comes with advantages of the usual SVRG method, but with factors depending on manifold curvature that influence its convergence. To the best of our knowledge, ours is the first \emph{fast} stochastic Riemannian method. Moreover, our work offers the first non-asymptotic complexity analysis for nonconvex Riemannian optimization (even for the batch setting). Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

研究の動機と目的

• リーマン多様体問題、特に有限和の目的関数に対する高速確率的最適化手法の不足に取り組む。
• 従来、ユークリッド空間に限られていた分散低減技術をリーマン幾何に拡張し、収束速度を向上させる。
• 非凸リーマン最適化における最初の非漸近的複雑度解析を、バッチ設定でさえも提供する。
• 曲率依存要因を組み込んだ、測地線的滑らか関数におけるリーマン多様体SVRGの理論的収束速度を確立する。
• 簡潔で透明な収束解析を提供するリーマン的視点から、分散低減PCAを提示する。

提案手法

• リーマン多様体上の測地線的滑らか関数の有限和を対象とした、分散低減型確率的最適化アルゴリズムであるリーマン多様体SVRGを提案する。
• リーマン幾何に適応したSVRGフレームワークを用い、非ユークリッド的なドメイン制約を処理するために、リトラクションとベクトル輸送を採用する。
• 測地線的滑らかさを活用して、確率的勾配の分散を制限し、曲率に配慮した条件下で収束を保証する。
• 収束解析に曲率依存要因を導入し、多様体の幾何が最適化速度に与える影響を反映する。
• 二重ループ構造を採用：外側のループで全勾配推定値を計算し、内側のループで制御変数を用いた分散低減による確率的勾配を用いる。
• 指数写像と並進輸送などのリーマン的道具を用いて収束を解析し、幾何的一致性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド最適化から得られる分散低減技術を、リーマン多様体の有限和問題へ成功裏に拡張できるか？
• RQ2 測地線的滑らか関数の凸および非凸な確率的リーマン最適化の非漸近的収束速度は何か？
• RQ3 多様体の曲率は、確率的リーマン最適化手法の収束行動にどのように影響するか？
• RQ4 リーマン多様体SVRGは、分散低減PCAのような問題に対して、簡潔で透明な収束解析を提供できるか？
• RQ5 バッチおよび確率的設定において、非凸リーマン最適化の最初の非漸近的複雑度境界を確立することは可能か？

主な発見

• リーマン多様体SVRGは、高速な確率的リーマン最適化手法として、標準的なリーマン確率的勾配降下法よりも優れた収束を達成する。
• 曲率に依存する収束速度を備えた、凸および非凸の測地線的滑らか関数に対して非漸近的収束速度を達成する。
• 収束解析により、収束速度を調整する曲率依存要因が明らかになり、幾何的要因が最適化性能に与える影響を定量化した。
• このフレームワークにより、リーマン的視点から分散低減PCAの短く透明な収束解析が可能になった。
• 本研究は、バッチケースですら含め、非凸リーマン最適化における最初の非漸近的複雑度解析を確立し、重要な理論的ギャップを埋めた。
• 理論的結果は、リーマン多様体SVRGが標準的なSVRGの利点を継承するとともに、多様体の内在的幾何に適応できることを示している。