[論文レビュー] Semi-Riemannian Manifold Optimization

Tingran Gao, Lek‐Heng Lim+1 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Numerical Analysis Techniques参考文献 28被引用数 5

ひとこと要約

本稿は、不定計量を許容する半リーマン多様体上の最適化フレームワークを導入し、リーマン多様体最適化を拡張する。半リーマン幾何学を活用して、勾配降下法と共役勾配法を定式化し、多様な計量符号にかかわらず収束性を維持する。数値実験では計量に依存しない収束性と線形収束レートを示す。

ABSTRACT

We introduce in this paper a manifold optimization framework that utilizes semi-Riemannian structures on the underlying smooth manifolds. Unlike in Riemannian geometry, where each tangent space is equipped with a positive definite inner product, a semi-Riemannian manifold allows the metric tensor to be indefinite on each tangent space, i.e., possessing both positive and negative definite subspaces; differential geometric objects such as geodesics and parallel-transport can be defined on non-degenerate semi-Riemannian manifolds as well, and can be carefully leveraged to adapt Riemannian optimization algorithms to the semi-Riemannian setting. In particular, we discuss the metric independence of manifold optimization algorithms, and illustrate that the weaker but more general semi-Riemannian geometry often suffices for the purpose of optimizing smooth functions on smooth manifolds in practice.

研究の動機と目的

• リーマン多様体最適化の一般化を、半リーマン幾何学を用いて不定計量を許容する形で開発すること。
• 正定値リーマン計量を必要としないより弱い半リーマン構造下でも最適化アルゴリズムが有効かつ収束するかどうかを調査すること。
• 勾配降下法や共役勾配法といった古典的最適化アルゴリズムの半リーマン的類似物を確立すること。
• 最適化アルゴリズムの計量不変性と、異なる半リーマン構造における2次最適化手法の実現可能性を示すこと。
• 非凸最適化のための理論的・アルゴリズム的基盤を、内点法や情報幾何に関連する不定幾何を持つ多様体上で構築すること。

提案手法

• 計量が不定であっても降下方向を保証する半リーマン勾配の修正を提案する。
• ミンコフスキー空間内の擬球面および擬双曲空間における半リーマン測地線の閉形式表現を用いて、再構成写像を定義する。
• リーマン計量を非退化な半リーマン計量に置き換えることで、リーマン最適化アルゴリズム（勾配降下法および共役勾配法）を適応させる。
• 異なる半リーマン計量下でもニュートン法や信頼域法の不変性を活用し、計量選択に対して強いロバストネスを示す。
• 非退化な半リーマン部分多様体（擬球面や擬双曲空間など）を構築するために、基底空間としてミンコフスキー空間 $\mathbb{R}^{p,q}$ を用いる。
• ミンコフスキー空間 $\mathbb{R}^{p,q}$ 上の $\mathbb{S}^{p,q}$ およびその単位球面における最適化問題のランダムインスタンスを用いた数値実験により、収束性および収束レートの挙動を検証する。

実験結果

リサーチクエスチョン

• RQ1 多様体上の最適化アルゴリズムは、リーマン計量を超えて不定計量を有する半リーマン構造へと効果的に一般化可能か？
• RQ2 異なる半リーマン計量符号のもとでも、1次最適化アルゴリズムの収束性は保証されるか？
• RQ3 同一の基本多様体上での異なる半リーマン構造において、勾配降下法および共役勾配法の収束レートはどのように変化するか？
• RQ4 ニュートン法や信頼域法といった2次最適化手法は、半リーマン計量の変更に対してどの程度不変性を示すか？
• RQ5 半リーマン幾何学は、非凸設定における内点法や自然勾配降下法を理解するための幾何的枠組みを提供可能か？

主な発見

• 非退化な半リーマン部分多様体上では、計量符号にかかわらず、半リーマン勾配降下法および共役勾配法がグローバルに収束する。
• 数値実験では、リーマン的状況（$p=0$, $q=10$）が最も速い収束を示す。
• ミンコフスキー空間 $\mathbb{R}^{3,12}$ 内の単位擬球面 $\mathbb{S}^{3,12}$ において、半リーマン勾配降下法および共役勾配法の両方で線形収束が観察された。
• ニュートン法や信頼域法といった2次最適化手法は、異なる半リーマン計量下でも不変であり、計量不変性が確認された。
• 提案されたフレームワークは、標準的な非制約ユークリッド最適化およびリーマン多様体最適化を特別な場合として含み、より広範な幾何的枠組みで統一されている。
• 数値結果により、半リーマン測地線が擬球面上の最適化に有効かつ計算的に効率的な再構成写像を提供することが確認された。