[論文レビュー] Contraction Analysis of Geodesically Convex Optimization

Patrick M. Wensing, Jean-Jacques Slotine|arXiv (Cornell University)|Jun 18, 2018

Control and Stability of Dynamical Systems被引用数 1

ひとこと要約

本稿は、リーマン多様体上の自然勾配フローにおける測地線的凸性（g-凸性）と収縮性の等価性を確立し、g-凸関数の発見および効率的最適化に収縮解析のツールを適用可能にする。この結果により、非自励系の体系的解析と複雑な最適化構造のモジュラー構築が可能となる。

ABSTRACT

Optimization is central to a wide array of problems across machine learning, estimation, automatic control, design, and many other areas. Convex optimization represents a subset of these instances where problems admit global solutions, which can often be computed using off-the-shelf solvers. Recently, increased attention has focused on geodesic convexity, or g-convexity. By endowing $\mathbb{R}^n$ with a Riemannian metric, non-convex problems can be transformed into convex ones over the induced Riemannian manifold. The main contribution of this paper is to provide a bridge between g-convexity and contraction analysis of nonlinear dynamical systems. Specifically, we show the equivalence between geodesic convexity and contraction of natural gradient flows. Given this result, existing tools from analysis and synthesis of nonlinear contracting systems can be considered to both discover and efficiently optimize g-convex functions. In addition, the contraction perspective allows one to easily apply results to non-autonomous systems, and to recursively build large optimization structures out of simpler elements.

研究の動機と目的

• 非線形力学系における測地線的凸性と収縮解析の間のギャップを埋めること。
• リーマン多様体上の自然勾配フローが、かつてその最適化問題が測地的に凸である場合に限り収縮することを示すこと。
• 既存の収縮解析ツールを用いてg-凸最適化問題を発見し、効率的に解くことのできる仕組みを提供すること。
• これらのツールの適用範囲を非自励系および階層的最適化構造へと拡張すること。

提案手法

• 非凸問題を誘導される多様体上での測地的に凸問題に変換するためのR^n上へのリーマン計量の導入。
• 自然勾配フローを、リーマン計量と目的関数の勾配によって誘導される力学系として定義。
• 自然勾配フローが収縮するための必要十分条件として、目的関数がリーマン計量に関して測地的に凸であることの証明。
• 収縮理論を用いてフローの安定性および収束性を解析し、解析にリーマンヘッセ行列と計量テンソルを用いる。
• 時間変動する計量およびベクトル場へのフレームワークの拡張により、非自励系に収縮ツールを適用。
• 収縮する部分系を合成することで、大規模最適化システムを再帰的に構築可能にする。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上の自然勾配フローの測地線的凸性と収縮性の間に根本的な関係があるか？
• RQ2 収縮解析を用いてg-凸最適化問題のグローバル収束性を検証できるか？
• RQ3 収縮理論を非自励g-凸最適化問題に対応させるにはどうすればよいか？
• RQ4 収縮する部分系をどのように合成して、より大きな安定した最適化アーキテクチャを構築できるか？
• RQ5 この等価性の結果が、非凸設定における最適化アルゴリズムの設計および解析に与えるインパクトは何か？

主な発見

• リーマン多様体上での関数の測地線的凸性は、その自然勾配フローの収縮性と等価である。
• 自然勾配フローの収縮性により、初期化に依存せず一意の最小値へのグローバル収束が保証される。
• このフレームワークは非自励系へ自然に拡張可能であり、時間変動する最適化問題に対しても収縮ツールを用いた解析が可能となる。
• 等価性のおかげで、既存の収縮設計技術を活用して新たなg-凸最適化アルゴリズムを設計できる。
• 収縮するコンポONENTを再帰的に組み合わせることで、複雑な最適化システムのモジュラー設計が可能となる。
• 結果として、非凸問題をg-凸問題に変換した場合に、力学系ツールを広く適用する理論的基盤が提供される。