[論文レビュー] Towards Riemannian Accelerated Gradient Methods

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|Jun 7, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用数 33

ひとこと要約

本稿は、最小値の近傍において、測地的滑らかさと強い凸性を満たすリーマン多様体上での最適化問題に対して加速収束を達成する、計算的に扱いやすいリーマン多様体上の加速勾配法（Ragd）を提案する。この手法は、非線形的メトリック歪みを制御するため、新規の推定列と接空間距離比較定理に依存しており、条件数および断面曲率に依存する収束速度を保証する。

ABSTRACT

We propose a Riemannian version of Nesterov's Accelerated Gradient algorithm (RAGD), and show that for geodesically smooth and strongly convex problems, within a neighborhood of the minimizer whose radius depends on the condition number as well as the sectional curvature of the manifold, RAGD converges to the minimizer with acceleration. Unlike the algorithm in (Liu et al., 2017) that requires the exact solution to a nonlinear equation which in turn may be intractable, our algorithm is constructive and computationally tractable. Our proof exploits a new estimate sequence and a novel bound on the nonlinear metric distortion, both ideas may be of independent interest.

研究の動機と目的

• 非線形方程式を解く必要が生じない、計算的に扱いやすいネステロフの加速勾配法のリーマン多様体への一般化を構築すること。
• 測地的滑らかさと強い凸性を満たす問題に対して、リーマン多様体上での局所的収束を加速することを確立すること。
• 非線形的メトリック歪みの課題を、新たな解析的手法によって克服すること。
• 線形構造が存在しない非ユークリッド空間において、加速が達成可能な条件を同定すること。
• 先行研究の仮定を緩和し、指数写像が実装可能な行列多様体に適用可能な収束解析を提供すること。

提案手法

• 非線形的リーマン幾何に適合した修正された推定列を用いた、リーマン多様体上の加速勾配アルゴリズム（Ragd）を提案する。
• 接空間における測地距離とそのユークリッド近似の間のメトリック歪みを制限するため、接空間距離比較定理を導入する。
• 定数ステップサイズ戦略を採用し、パラメータ $ h = \frac{1}{L} $, $ \beta = \frac{1}{5}\sqrt{\frac{\mu}{L}} $ を用いることで、最小値の近傍内での収束を保証する。
• 曲率に起因する歪みを考慮した新規の推定列を用いることで、ネステロフの元来の構成における仮定を緩和する。
• リーマン勾配、指数写像、およびその逆写像の実装可能性に依存する。多くの行列多様体において実行可能である。
• 帰納法と曲率依存の境界を用いて、各反復で比較不等式 (8) が成立することを保証し、収束の証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形構造が存在しないにもかかわらず、リーマン最適化においてネステロフ風の加速が達成可能か？
• RQ2 各ステップで解くことが困難な非線形方程式を回避する、計算的に扱いやすいリーマン多様体上の加速勾配法を構築可能か？
• RQ3 曲率および条件数にどのような条件が、リーマン多様体上での局所的加速を保証するか？
• RQ4 非ユークリッド幾何を1次最適化に適用するため、新規の推定列とメトリック歪みの境界を構築可能か？
• RQ5 リーマン幾何の非線形性が根本的にグローバル加速を不可能にするのか、それとも局所的加速が達成可能か？

主な発見

• 提案された Ragd アルゴリズムは、測地的滑らかさと強い凸性を満たす問題に対して、局所的に $ \left(1 - \frac{9}{10}\sqrt{\frac{\mu}{L}}\right)^k $ の加速収束率を達成する。
• 収束は、条件数および断面曲率に依存する半径 $ D = \frac{1}{20\sqrt{K}}\left(\frac{\mu}{L}\right)^{\frac{3}{4}} $ の近傍 $ \mathcal{B}_{x^*, D} $ 内で保証される。
• 本分析は、リーマン多様体上のメトリック歪みを扱える新規の推定列を導入し、古典的ネステロフ法の仮定を緩和する。
• 接空間距離比較定理により、非線形的メトリック歪みを制限する十分条件が提供され、主な技術的貢献となる。
• 先行研究（Liu et al., 2017）とは異なり、非線形方程式を解く必要がないため、行列多様体上での実装が実用的である。
• 側辺長 $ d(y_k, v_{k+1}) $ は、$ d(y_k, x^*) $ よりも速く増加する可能性があるため、非線形空間では歪みのグローバル制御が本質的に困難であることが示唆される。