[論文レビュー] Riemannian Interior Point Methods for Constrained Optimization on Manifolds

Zhijian Lai, Akiko Yoshise|arXiv (Cornell University)|Mar 18, 2022

Advanced Numerical Analysis Techniques被引用数 7

ひとこと要約

この論文は、リーマン多様体上の制約付き最適化問題を解くための新しい原双対内点フレームワーク、リーマン内点法（RIPM）を提案する。標準的な仮定の下で局所的超線形収束および2次収束を確立し、ラインサーチを用いることでグローバル収束を達成しており、既存のリーマン最適化手法と比較して、数値実験において優れた安定性と精度を示している。

ABSTRACT

We extend the classical primal-dual interior point method from the Euclidean setting to the Riemannian one. Our method, named the Riemannian interior point method, is for solving Riemannian constrained optimization problems. We establish its local superlinear and quadratic convergence under the standard assumptions. Moreover, we show its global convergence when it is combined with a classical line search. Our method is a generalization of the classical framework of primal-dual interior point methods for nonlinear nonconvex programming. Numerical experiments show the stability and efficiency of our method.

研究の動機と目的

• ユークリッド空間からの原双対内点法を、非凸な制約付き最適化問題のためのリーマン多様体へ拡張すること。
• リーマン設定における内点法の理論的基盤を確立すること、特にKKTベクトル場とその共変微分を含む。
• 標準的な仮定の下で、提案手法の局所的およびグローバル収束を保証すること。
• 挑戦的なリーマン最適化問題における数値実験を通じて、手法の効率性と安定性を示すこと。
• 等式制約が多様体を定義する問題に一般に適用可能であり、ユークリッド手法と比較して計算次元を低減できるフレームワークを提供すること。

提案手法

• 滑らかで完全なリーマン多様体上での制約付き最適化を解くためのリーマン原双対内点法（RIPM）を提案する。
• 最適性条件を一般化するため、多様体上でのKKTベクトル場とその共変微分を定義する。
• 等式制約が部分多様体を定義する場合に、接空間上で縮退化した摂動ニュートン方程式を解くことで次元を低減する。
• 大規模な設定では、Krylov部分空間法を用いて縮退化したニュートン系を効率的に解く。
• グローバル収束を保証するため、古典的なラインサーチグローバライゼーション戦略を導入する。
• 多様体固有の微分幾何学的ツールを活用することで、古典的な原双対フレームワークをリーマン幾何学へ適応する。

実験結果

リサーチクエスチョン

• RQ1 原双対内点法は、リーマン多様体上での非凸な制約付き最適化問題へ一般化可能か？
• RQ2 リーマン設定において、局所的超線形収束および2次収束を保証するための幾何学的および解析的条件は何か？
• RQ3 リーマン内点法は、増強ラグランジュ法や逐次二次計画法といった既存のリーマンアルゴリズムと比較して、安定性と精度で優れているか？
• RQ4 等式制約の多様体的構造を活用することで、計算複雑性を低減できるか？
• RQ5 現代の内点法をリーマン幾何学に適応する際の理論的および数値的課題は何か？

主な発見

• 標準的な仮定の下で、リーマン内点法（RIPM）は局所的超線形収束および2次収束を達成し、古典的な収束結果がリーマン設定へ拡張された。
• 古典的なラインサーチを組み合わせることでグローバル収束が確立され、実用的な頑健性が保証される。
• 数値実験では、特に非凸問題において、既存のリーマン最適化手法よりもRIPMが安定性と精度で優れていることが示された。
• 等式制約の多様体的構造を活用することで、ニュートン系の次元が低減され、計算上の節約が得られた。
• 非負制約付きの低ランク行列近似のような、ユークリッド内点法が失敗する問題に対しても適用可能である。
• この手法は一般性に富み、グラスマン多様体や固定ランク多様体を含む広範な多様体に適用可能であり、測地線的凸性を仮定する必要がない。