[論文レビュー] First-order Methods for Geodesically Convex Optimization

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|Feb 19, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 40

ひとこと要約

本稿は、ハダマード多様体上の測地的凸最適化における一次順序法の最初のグローバル反復複雑性バウンドを確立する。曲率に依存する新しい不等式を導入し、滑らかさ、強い測地的凸性、非滑らか設定下での勾配降下法、確率的勾配法、部分勾配法の収束速度を証明する。多様体の曲率が収束速度に直接影響することを示している。

ABSTRACT

Geodesic convexity generalizes the notion of (vector space) convexity to nonlinear metric spaces. But unlike convex optimization, geodesically convex (g-convex) optimization is much less developed. In this paper we contribute to the understanding of g-convex optimization by developing iteration complexity analysis for several first-order algorithms on Hadamard manifolds. Specifically, we prove upper bounds for the global complexity of deterministic and stochastic (sub)gradient methods for optimizing smooth and nonsmooth g-convex functions, both with and without strong g-convexity. Our analysis also reveals how the manifold geometry, especially \emph{sectional curvature}, impacts convergence rates. To the best of our knowledge, our work is the first to provide global complexity analysis for first-order algorithms for general g-convex optimization.

研究の動機と目的

• 非線形リーマン多様体上の測地的凸最適化におけるグローバル収束速度解析のギャップを埋めること。
• これまでユリディアン空間に限定されてきた一次順序アルゴリズムの複雑性解析を、非正の断面曲率を持つハダマード多様体の設定に拡張すること。
• 多様体の幾何構造、特に断面曲率が一次順序法の収束速度に与える影響を定量化すること。
• 一般の測地的凸最適化における決定的および確率的一次順序アルゴリズムの包括的な複雑性解析を初めて提供すること。
• 機械学習や統計に関連する非ユークリッド最適化設定への一次順序法の適用の理論的基盤を確立すること。

提案手法

• 下界が曲率で有界なアレクサンドロフ空間に対して、新しい三角不等式による距離バウンドを構築し、リーマン多様体およびそれ以上の対象に適用可能である。
• この不等式を用いて、特に測地的凸性下でのハダマード多様体上における一次順序アルゴリズムの挙動を分析する。
• 滑らかさ、非滑らかさ、強い測地的凸性の設定下で、勾配降下法、確率的勾配法、部分勾配法の反復複雑性上界を導出する。
• 指数写像と再帰写像（retractions）を用いたリーマン多様体最適化のツールを活用し、ユークリッド空間における一次順序法を非線形多様体に一般化する。
• 滑らかさ定数、強い凸性パラメータ、勾配の分散推定値に基づくステップサイズルールを導入し、行列カーゲル平均問題を用いた実験的検証を実施する。
• 正定値性を維持するため、行列対数と指数関数を用いた再帰写像に基づく更新ルールを導入する。

実験結果

リサーチクエスチョン

• RQ1 ハダマード多様体上の測地的凸最適化における一次順序法に対して、グローバル反復複雑性バウンドを確立できるか？
• RQ2 リーマン多様体の断面曲率が一次順序アルゴリズムの収束速度にどのように影響するか？
• RQ3 確率的一次順序法は、測地的凸設定下で複雑性保証付きでグローバル収束を達成できるか？
• RQ4 測地的凸最適化において、ネステロフの加速勾配法に相当する非線形版が存在するか？
• RQ5 指数写像の代わりに再帰写像（retractions）を使用した場合、多様体上での一次順序アルゴリズムの収束速度にどのような影響を与えるか？

主な発見

• 本稿は、ハダマンド多様体上の一般の測地的凸最適化における一次順序法の最初のグローバル反復複雑性解析を提示する。
• 滑らかな測地的凸関数に対しては、固定ステップサイズの勾配降下法が線形収束を達成するが、ラインサーチを必要とせず、既知の結果と一致する。
• 滑らかな関数に対しては確率的勾配法の収束速度は $ O(1/ frac{1}{2}) $、強い測地的凸関数に対しては $ O(1/t) $ であり、ユークリッド設定と一貫している。
• 収束速度が多様体の断面曲率に明示的に依存しており、非正の曲率空間ではよりタイトなバウンドが得られることを示している。
• 行列カーゲル平均問題における実験結果から、フル勾配降下法は線形収束を示し、確率的バージョンは準線形収束を示す。理論的バウンドの妥当性が裏付けられている。
• 実験では、滑らかさ定数の推定値 $ 5N $ が一貫して収束を保証するため、実世界の応用における実用的なステップサイズ選択ルールの可能性が示唆されている。