[論文レビュー] Optimization on manifolds: A symplectic approach

Guilherme França, Alessandro Barp+2 more|arXiv (Cornell University)|Jul 23, 2021

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、散逸的拡張を施したディラックの制約付きハミルトニアン系に基づく、多様体上の最適化のシンプレクティックで幾何学的な枠組みを提案する。本稿は、連続時間の収束速度を保持する新規の散逸的 RATTLE 積分法を提案し、滑らかな多様体上での非線形制約付きおよびリー群問題を含む制約付き最適化問題において、最適な局所収束率を達成する。Riemannian勾配流と比較して、優れた安定性とスケーラビリティを示す。

ABSTRACT

Optimization tasks are crucial in statistical machine learning. Recently, there has been great interest in leveraging tools from dynamical systems to derive accelerated and robust optimization methods via suitable discretizations of continuous-time systems. However, these ideas have mostly been limited to Euclidean spaces and unconstrained settings, or to Riemannian gradient flows. In this work, we propose a dissipative extension of Dirac's theory of constrained Hamiltonian systems as a general framework for solving optimization problems over smooth manifolds, including problems with nonlinear constraints. We develop geometric/symplectic numerical integrators on manifolds that are "rate-matching," i.e., preserve the continuous-time rates of convergence. In particular, we introduce a dissipative RATTLE integrator able to achieve optimal convergence rate locally. Our class of (accelerated) algorithms are not only simple and efficient but also applicable to a broad range of contexts.

研究の動機と目的

• ユークリッド空間や非制約設定を超えた滑らかな多様体上での制約付き最適化の一般的な幾何学的枠組みの構築を目的とする。
• 散逸を導入したディラックの制約付きハミルトニアン系理論を拡張し、多様体上での加速的ダイナミクスをモデル化することを目的とする。
• 連続時間のダイナミカルシステムの収束速度を保持する幾何学的／シンプレクティック数値積分法の設計を目的とする。
• 多様体上での非線形等式および不等式制約付き最適化問題に対して、最適な局所収束速度を達成することを目的とする。
• 特に大規模問題（例：直交プロクラステス問題や SSK 問題）において、Riemannian 勾配流と比較して優れた安定性とスケーラビリティを示すことを目的とする。

提案手法

• 制約付きハミルトニアン系の散逸的拡張を、多様体上での最適化の連続時間ダイナミクスとして定式化する。
• 連続系のシンプレクティック構造とレートマッチング特性を保持する幾何的積分法「散逸的 RATTLE」を導入する。
• 余接 bundle 上でのハミルトニアン定式化を用いて制約付き最適化を適用し、内在的な幾何学的整合性を保証する。
• プレシンプレクティック積分法フレームワークを用いて多様体上での散逸的測地線方程式を導出し、安定的かつ効率的な数値積分を可能にする。
• リー群への適用に際し、群構造を尊重し射影誤差を回避する散逸的ループフロッグ積分法を適応する。
• シャロウイング性質を用いて、離散的ダイナミクスが真の解に長期間安定して収束することを正当化する。

実験結果

リサーチクエスチョン

• RQ1 多様体上での連続時間の散逸的ハミルトニアン系の収束速度を保持するシンプレクティックで幾何学的な積分法を設計できるか？
• RQ2 ディラックの制約付きハミルトニアン系理論を散逸を含む形で拡張し、非線形制約付き多様体上での加速的最適化をモデル化できるか？
• RQ3 散逸的 RATTLE 積分法が、多様体上での制約付き最適化問題において最適な局所収束速度を達成する役割は何か？
• RQ4 特に直交プロクラステス問題のような大規模問題において、本手法は Riemannian 勾配流と比較して安定性とスケーラビリティに優れているか？
• RQ5 本枠組みは、等式および不等式制約を同時に扱えるように一般化可能であり、幾何学的整合性と収束保証を維持できるか？

主な発見

• 散逸的 RATTLE 積分法は、多様体上での制約付き最適化において、連続時間ダイナミクスと一致する最適な局所収束速度を達成する。
• Riemannian 勾配降下法と比較して、特に大規模問題（例：n=1000）において優れた安定性とスケーラビリティを示す。Algorithm 1（DissRATTLE）は同一のステップサイズでも安定に保たれるが、Algorithm 3（DissLeapfrogLie）は発散した。
• 直交プロクラステス問題では、Riemannian 勾配流と比較して、著しく少ない反復回数で収束を達成した。n=100 の場合、反復回数は100倍減少した。
• 勾配流より大きなステップサイズを許容でき、これにより収束が高速化される。例として、α=0.95 で h=Cλmax(M) を設定した Algorithm 3 は、プロットに示されたよりもステップサイズを最適化することでより速い収束を示した。
• モンテカルロ結果では、n=100 の問題に対して100回のランで、本手法は勾配流よりも少ない反復回数かつ高い精度（相対誤差 ≈10⁻⁸）で収束した。
• 図9のヒートマップは、α とステップサイズの変動に対しても本手法がロバストであることを確認しており、広いパrameter 範囲で低相対誤差を維持した。