[論文レビュー] Global Riemannian Acceleration in Hyperbolic and Spherical Spaces

David Martínez-Rubio|arXiv (Cornell University)|Dec 7, 2020

Geometric Analysis and Curvature Flows被引用数 1

ひとこと要約

本稿は、双曲空間および球面空間における $L$-滑らかで測地的に凸または強く測地的に凸な関数に対する、最初のグローバルに加速された一階最適化手法を導入し、収束速度がユークリッド空間におけるネステロフの加速勾配降下法と対数的および曲率依存要因を除いて一致することを示した。この手法は、非凸なユークリッド最適化問題への新しい還元を活用し、初期距離 $R$ および曲率 $K$ に明示的な依存関係を持つグローバル収束を確立する。主な貢献は、非ユークリッドリーマン多様体における正当なグローバル加速の達成であり、リーマン多様体最適化分野における長年の未解決問題を解消した。

ABSTRACT

We further research on the accelerated optimization phenomenon on Riemannian manifolds by introducing accelerated global first-order methods for the optimization of $L$-smooth and geodesically convex (g-convex) or $\mu$-strongly g-convex functions defined on the hyperbolic space or a subset of the sphere. For a manifold other than the Euclidean space, these are the first methods to \emph{globally} achieve the same rates as accelerated gradient descent in the Euclidean space with respect to $L$ and $\epsilon$ (and $\mu$ if it applies), up to log factors. Due to the geometric deformations, our rates have an extra factor, depending on the initial distance $R$ to a minimizer and the curvature $K$, with respect to Euclidean accelerated algorithms As a proxy for our solution, we solve a constrained non-convex Euclidean problem, under a condition between convexity and \emph{quasar-convexity}, of independent interest. Additionally, for any Riemannian manifold of bounded sectional curvature, we provide reductions from optimization methods for smooth and g-convex functions to methods for smooth and strongly g-convex functions and vice versa. We also reduce global optimization to optimization over bounded balls where the effect of the curvature is reduced.

研究の動機と目的

• 双曲空間および球面多様体におけるグローバルに加速された一階最適化を確立し、加速はこれまで局所的領域に限られていたことを解決する。
• リーマン多様体における一階最適化手法が、ユークリッド空間におけるネステロフの加速勾配降下法と同等の収束速度を達成できるかどうかという未解決問題を解消する。
• 有界な断面曲率を持つ多様体上での測地的に凸関数と強く測地的に凸関数の最適化の間で、相互に変換可能な還元フレームワークを提供する。
• 曲率に起因する歪みを最小限に抑えるために、曲がった多様体上のグローバル最適化を、有界半径の球上での最適化に還元する。

提案手法

• 双曲空間および球面空間上でグローバル加速を達成する新しいアルゴリズムフレームワークを導入し、リーマン多様体問題を、凸性とクェイサ凸性の中間の条件を満たす制約付き非凸ユークリッド最適化問題に埋め込む。
• 非有界多様体上の最適化を、有界半径のリーマン多様体球上での最適化に変換する還元技術を用い、曲率が収束速度に与える影響を軽減する。
• リーマン曲率と目的関数の条件数の関係を示す幾何学的補題に基づく、新しい証明戦略を構築し、特に双曲空間における応用を重視する。
• リーマン勾配降下法（RGD）と局所的加速手法を組み合わせたハイブリッド戦略を採用し、最悪ケースの収束速度を、既知の最良の加速境界と一致させる。
• 双曲空間上での強く測地的に凸関数の条件数の精密分析を実施し、それが少なくとも $\Omega(R)$ であることを示し、収束速度の境界に寄与する。
• 任意の有界断面曲率を持つリーマン多様体に対して一般化可能な還元フレームワークを提供し、測地的に凸関数と強く測地的に凸関数の最適化手法を相互に変換可能にする。

実験結果

リサーチクエスチョン

• RQ1 双曲空間や球面空間などの非ユークリッド多様体上でも、リーマン一階最適化手法が、ユークリッド空間におけるネステロフの加速勾配降下法と同等のグローバル収束速度を達成できるか。
• RQ2 曲率および最適解までの初期距離が、リーマン最適化における加速の制限要因または可能要因として果たす役割は何か。
• RQ3 滑らかで測地的に凸な関数に対しても、強いては測地的に凸でない関数に対しても、曲がった多様体上でのグローバル加速が達成可能か。
• RQ4 曲がった多様体の幾何的複雑性を、特に有界半径球への還元によってどのように簡素化し、効率的な最適化を可能にするか。
• RQ5 リーマン最適化における加速の根本的限界は何か。最近の下界に関する結果は、ネステロフ型の収束速度を達成可能かどうかにどのように影響するか。

主な発見

• 提案されたアルゴリズムは、収束速度がユークリッド空間におけるネステロフの加速勾配降下法と対数的要因および曲率 $K$、初期距離 $R$ に依存する乗数定数を除いて一致するグローバル収束を達成する。
• 双曲空間上での $\mu$-強く測地的に凸関数に対して、収束速度は $\widetilde{O}\left(\sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$ であり、対応するユークリッド加速速度と $\log$ 要因および $R$ 依存要因を除いて一致する。
• 本稿では、曲率 $K = -1$ の双曲空間上での $L$-滑らかで $\mu$-強く測地的に凸な関数の条件数 $\kappa = L/\mu$ が少なくとも $\Omega(R)$ であることを確立し、最適ケースにおけるタイトな境界 $R \cot(R)$ と一致する。
• 多様体上のグローバル最適化を、有界半径のリーマン多様体球上での逐次的最適化に変換する新しい還元を構築し、曲率の影響を顕著に軽減した。
• RGD と局所的加速手法を組み合わせたハイブリッドアルゴリズムを提供し、最悪ケースの収束速度が $\widetilde{O}\left(\frac{L}{\mu} + \sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$ となり、既知の最良の加速境界と一致する。
• 本研究は、双曲空間では加速が不可能であるという主張を反証し、幾何学的要因として $R$-依存項が存在するが、$R$ が固定または $\varepsilon$ が十分に小さい場合には依然として加速速度が達成可能であることを示した。