[論文レビュー] Unconstrained optimisation on Riemannian manifolds

Tuyen Trung Truong|arXiv (Cornell University)|Aug 25, 2020

Stochastic Gradient Optimization Techniques参考文献 23被引用数 4

ひとこと要約

この論文は、ナッシュの埋め込み定理と局所再帰写像を用いて、リーマン多様体上へのバックトラッキング勾配降下法およびニューフェル・ニュートン法の拡張を行い、ランダムなハイパーパrameterに対して、局所的最小値への確実収束または無限大への発散を証明した。$C^3$ モース関数で部分空間がコンパクトな場合、非退化最小値への収束は二次収束率を示し、特定の群構造の仮定のもとで鞍点はグローバルに回避される。

ABSTRACT

In this paper, we give explicit descriptions of versions of (Local-) Backtracking Gradient Descent and New Q-Newton's method to the Riemannian setting.Here are some easy to state consequences of results in this paper, where X is a general Riemannian manifold of finite dimension and $f:X ightarrow \mathbb{R}$ a $C^2$ function which is Morse (that is, all its critical points are non-degenerate). {\bf Theorem.} For random choices of the hyperparameters in the Riemanian Local Backtracking Gradient Descent algorithm and for random choices of the initial point $x_0$, the sequence $\{x_n\}$ constructed by the algorithm either (i) converges to a local minimum of $f$ or (ii) eventually leaves every compact subsets of $X$ (in other words, diverges to infinity on $X$). If $f$ has compact sublevels, then only the former alternative happens. The convergence rate is the same as in the classical paper by Armijo. {\bf Theorem.} Assume that $f$ is $C^3$. For random choices of the hyperparametes in the Riemannian New Q-Newton's method, if the sequence constructed by the algorithm converges, then the limit is a critical point of $f$. We have a local Stable-Center manifold theorem, near saddle points of $f$, for the dynamical system associated to the algorithm. If the limit point is a non-degenerate minimum point, then the rate of convergence is quadratic. If moreover $X$ is an open subset of a Lie group and the initial point $x_0$ is chosen randomly, then we can globally avoid saddle points. As an application, we propose a general method using Riemannian Backtracking GD to find minimum of a function on a bounded ball in a Euclidean space, and do explicit calculations for calculating the smallest eigenvalue of a symmetric square matrix.

研究の動機と目的

• ユークリッド空間およびバナッハ空間から一般の有限次元リーマン多様体へのバックトラッキング GD およびニューフェル・ニュートン法の収束性および鞍点回避に関する結果を一般化すること。
• 局所的な幾何学的および関数的情報のみを用いて、多様体上での反復的最適化の理論的保証を確立すること。
• 制約付き問題や特異な目的関数に対して、リーマン最適化の実用的利点を示すこと、特に固有値計算への応用を含む。
• 球面などのコンパクトなリーマン部分多様体上での制約付き最適化を、リーマン的手法により一般かつ実装可能な枠組みで解くこと。

提案手法

• リーマン再帰写像およびベクトル輸送を用いて、局所バックトラッキング勾配降下法およびニューフェル・ニュートン法をリーマン多様体に適応する。
• ナッシュの埋め込み定理を適用して、リーマン多様体をユークリッド空間に等長埋め込みし、ユークリッド設定からの収束結果の移行を可能にする。
• 良好な局所再帰写像を用いて、多様体上での最適化ダイナミクスの局所的整合性および安定性を保証する。
• ランダムなハイパーパrameterおよび初期点を用いることで、弱い正則性条件のもとで確実収束性を達成する。
• 鞍点付近で安定・中心多様体定理が成り立つ、リーマン版のニューフェル・ニュートン法を導入する。
• 制限付き問題、例えば単位球面上での関数最小化にこの枠組みを適用し、二次形式および固有値問題に対して明示的な計算を示す。

実験結果

リサーチクエスチョン

• RQ1 バックトラッキング GD およびニューフェル・ニュートン法の収束性および鞍点回避特性をリーマン多様体へ拡張できるか？
• RQ2 一般のリーマン多様体上で、ランダムなハイパーパrameterおよび初期条件のもとで、非退化最小値へのグローバル収束および鞍点回避を保証できるか？
• RQ3 多様体が開いたリー群の部分集合であり、初期点がランダムな場合、リーマン版ニューフェル・ニュートン法は非退化最小値付近で二次収束率を示し、鞍点をグローバルに回避できるか？
• RQ4 制約付きまたは特異な最適化問題において、リーマン最適化は標準的なユークリッド手法を上回る性能を示せるか？
• RQ5 コンパクトなリーマン多様体上での制約付き最適化を、リーマンバックトラッキング GD を用いて一般かつ実装可能な方法で行えるか？

主な発見

• ランダムなハイパーパrameterおよび初期点に対して、リーマン局所バックトラッキング GD は局所的最小値へ収束するか、無限大へ発散する。部分空間がコンパクトな場合、最小値への収束のみが生じる。
• リーマン局所バックトラッキング GD の収束速度は、ユークリッド設定におけるアルミジョの古典的収束速度と一致する。
• $C^3$ モース関数に対して、リーマンニューフェル・ニュートン法は収束列が収束する場合、臨界点へ収束し、非退化最小値では二次収束率を示す。
• リーマンニューフェル・ニュートン法の鞍点付近に、局所的安定・中心多様体定理を確立し、ダイナミクスの理論的解析を可能にする。
• 多様体がリー群の開部分集合であり、初期点がランダムな場合、リーマンニューフェル・ニュートン法は鞍点をグローバルに回避する。
• 実験により、リーマン最適化は制約付き問題や特異関数において、標準的 GD を上回る性能を示し、例えば対称行列の最小固有値の計算を球面上での最小化により行うことができる。