[論文レビュー] Momentum Improves Optimization on Riemannian Manifolds

Foivos Alimisis, Antonio Orvieto+2 more|arXiv (Cornell University)|Feb 11, 2020

Stochastic Gradient Optimization Techniques参考文献 22被引用数 9

ひとこと要約

本稿では、有界な断面曲率を持つ多様体上での測地線的凸関数および弱い擬凸関数に対して、加速収束を達成するモーメンタムに基づくリーマン最適化アルゴリズムを提案する。多様体の曲率を考慮した新しい推定列を導入することで、従来のリーマン勾配降下法（RGD）よりも最悪ケースの収束速度が向上し、球面および正定値行列上での実験でも初期反復において顕著な性能優位性を示す。

ABSTRACT

We develop a new Riemannian descent algorithm that relies on momentum to improve over existing first-order methods for geodesically convex optimization. In contrast, accelerated convergence rates proved in prior work have only been shown to hold for geodesically strongly-convex objective functions. We further extend our algorithm to geodesically weakly-quasi-convex objectives. Our proofs of convergence rely on a novel estimate sequence that illustrates the dependency of the convergence rate on the curvature of the manifold. We validate our theoretical results empirically on several optimization problems defined on the sphere and on the manifold of positive definite matrices.

研究の動機と目的

• 測地線的凸な目的関数に対して、モーメンタムを活用して収束を加速するリーマン最適化の第一順位法を開発すること。
• 強い凸性に限定されない、より広いクラスの測地線的凸および弱い擬凸関数へ、モーメンタムに基づく加速を拡張すること。
• 多様体の曲率を考慮した理論的収束保証を提供し、既存のリーマン勾配降下法（RGD）の境界を改善すること。
• 正の曲率および負の曲率を有する問題、特にKarcher平均および演算子スケーリングにおいて、アルゴリズムを実証的に検証すること。
• 強い凸性が弱いか、存在しない状況において、RGD や RAGD よりも初期段階でより速い収束を達成できることを示すこと。

提案手法

• アルゴリズムは、AGD-SDR（Nesterov 他, 2018）にインspiredされた小次元のリラクゼーション（sDR）オракルを用いて、適応的線形結合を実行する。
• Nesterov 他（2018）およびZhang & Sra（2018）の技術を組み合わせ、曲率依存項を含む新しい推定列を構築する。
• 有界な断面曲率を持つリーマン多様体上で動作し、測地線的凸性のもとで理論的収束を保証する。
• 各反復でモーメンタムパラメータ βk を適応的に選択するための測地線探索を採用し、動的加速を実現する。
• 理論的分析は、多様体の幾何構造に基づく誤差減少率を制限する、曲率に依存する推定列に依存する。
• 近似的に線形時間で sDR オラクルの解を求める近似手法を用いるなど、実用的かつ計算効率の高い設計である。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上での測地線的凸関数（強い凸性を満たさないもの）に対し、モーメンタムに基づく加速を厳密に拡張できるか？
• RQ2 基礎となる多様体の曲率が、モーメンタムに基づくリーマン最適化の収束速度にどのように影響するか？
• RQ3 強い凸性を満たさない目的関数に対して、モーメンタムと多様体幾何の相互作用を捉える新しい推定列を構築できるか？
• RQ4 提案手法が、強い凸性が弱いか、存在しない状況でも実際の問題で RGD や RAGD を上回る性能を示せるか？
• RQ5 作業ドメインのサイズが、モーメンタムベース手法の理論的収束保証に与える影響は何か？

主な発見

• 作業ドメインが極端に大きくない限り、測地線的凸関数に対して、提案手法はリーマン勾配降下法（RGD）よりも速い最悪ケース収束速度を達成する。
• 曲率およびドメインサイズの制約のもとで、d(M) ≈ 0.012 となる有界な作業ドメインでは、少なくとも166反復の間、アルゴリズムが加速される。
• 実験結果から、強い凸性定数が小さい場合（μ = 1）でも、Karcher平均問題において、RGD や RAGD よりも速やかに収束することが示された。
• 演算子スケーリング問題では、線形より速いが、線形より遅い収束率を達成し、既知の複雑度境界と整合的である。
• 収束速度の誤差項は O(d(M)/k) のオーダーで減少するが、完全な加速ではないものの、初期段階の加速により実用的に無視できる小ささを維持する。
• 正の曲率（球面）および負の曲率（正定値行列）の両方の多様体において、本手法は頑健性を示し、初期段階での収束が速い。