[論文レビュー] Simple algorithms for optimization on Riemannian manifolds with constraints

Changshuo Liu, Nicolas Boumal|arXiv (Cornell University)|Jan 28, 2019

Advanced Optimization Algorithms Research参考文献 42被引用数 4

ひとこと要約

本稿は、非負性PCA、k-means、最小バランスカットなどの高次元問題において、幾何構造を保ったまま、リーマン多様体への等式および不等式制約を伴う古典的な制約付き最適化手法—増大ラグランジュ法と正確ペナルティ法—の拡張を提案する。リーマン幾何の特徴を活用することで、ユークリッド空間における多様体を等式制約として扱う手法と比較して、計算効率と精度が向上することを示している。

ABSTRACT

We consider optimization problems on manifolds with equality and inequality constraints. A large body of work treats constrained optimization in Euclidean spaces. In this work, we consider extensions of existing algorithms from the Euclidean case to the Riemannian case. Thus, the variable lives on a known smooth manifold and is further constrained. In doing so, we exploit the growing literature on unconstrained Riemannian optimization. For the special case where the manifold is itself described by equality constraints, one could in principle treat the whole problem as a constrained problem in a Euclidean space. The main hypothesis we test here is whether it is sometimes better to exploit the geometry of the constraints, even if only for a subset of them. Specifically, this paper extends an augmented Lagrangian method and smoothed versions of an exact penalty method to the Riemannian case, together with some fundamental convergence results. Numerical experiments indicate some gains in computational efficiency and accuracy in some regimes for minimum balanced cut, non-negative PCA and $k$-means, especially in high dimensions.

研究の動機と目的

• ユークリッド空間からリーマン多様体への等式および不等式制約を伴う古典的制約付き最適化アルゴリズム—増大ラグランジュ法および正確ペナルティ法—の体系的拡張を目的とする。
• 多様体制約の内面的幾何構造を活用することで、ユークリッド空間における追加の等式制約として扱う場合と比較して、収束性および計算効率が向上するかを検討する。
• これらの手法のリーマン拡張に関する基本的な収束性（局所的および大域的）を確立する。
• 非負性PCA、k-means、最小バランスカットといった実世界の問題に対して、提案されたリーマン最適化アルゴリズムの性能を評価する。
• リーマン構造を活用しない標準的な非線形計画法ソルバ（fminconなど）と比較するベンチマークを提供する。

提案手法

• 反復点が多様体上に留まるように、多様体固有の再帰（retraction）とベクトル輸送を組み込んだ増大ラグランジュ法（ALM）のリーマン多様体への適応。
• 最小和-最大問題として定式化された、制約違反の最大関数を含む非滑らか関数を用いた正確ペナルティ法のリーマン設定への拡張。この問題は非滑らかであり、特殊な解法技術を要する。
• 正確ペナルティ法に伴う最小和-最大問題を解くために、勾配サンプリングを必要としないロバストな部分勾配降下法の開発。
• 非滑らかペナルティ問題の近似に、古典的な2種類の滑らか化関数（log-sum-expおよび「線形-二次＋ハッブル損失」）を用いた滑らか化技術の導入。
• リーマン最適化フレームワークを既存のアルゴリズムと統合し、反復の各ステップで多様体制約を数値的に精度良く維持する。
• リーマンアルゴリズムをfminconソルバ（多様体をユークリッド空間における追加の等式制約として扱う）と比較して実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 増大ラグランジュ法や正確ペナルティ法といった古典的制約付き最適化手法を、等式および不等式制約を伴うリーマン多様体へ拡張することは可能か？
• RQ2 多様体制約のリーマン幾何的性質を活用することで、ユークリッド空間における等式制約として扱う場合と比較して、収束速度および精度が向上するか？
• RQ3 これらの手法のリーマン拡張版の収束性は、それらのユークリッド版と比較してどのように異なるか？
• RQ4 非負性PCA、k-means、最小バランスカットといった高次元問題におけるリーマンALMおよび正確ペナルティ法の実験的性能はいかがなっているか？
• RQ5 高次元性などの特定の問題領域（例：高次元）では、fminconのような標準的な非線形計画法ソルバーよりもリーマン手法が顕著に優れている分野があるか？

主な発見

• 高次元問題において、多様体構造を活用するリーマン最適化アルゴリズムは、多様体を追加の等式制約としてユークリッド空間で扱うfminconソルバーよりも優れた性能を示した。
• 非負性PCAでは、リーマン正確ペナルティ法が最大制約違反 $2.13 \cdot 10^{-7}$ を達成したのに対し、fminconは $4.44 \cdot 10^{-5}$ にとどまり、著しく優れた制約遵守性を示した。
• Wineデータセットにおけるk-meansクラスタリングでは、リーマン増大ラグランジュ法が計算時間を $1.70 \cdot 10^{2}$ 秒にまで短縮したのに対し、fminconは $3.86 \cdot 10^{3}$ 秒を要した。
• Pimaデータセットでは、リーマン正確ペナルティ法がコスト $9.48 \cdot 10^{-3}$ を達成し、fminconの $2.60 \cdot 10^{-2}$ を上回った。最大制約違反は $2.10 \cdot 10^{-10}$ にとどまり、極めて良好な結果を得た。
• Cloudデータセット（k=4）では、リーマン正確ペナルティ法が最低コスト $5.49 \cdot 10^{-4}$ および最短時間 $3.65 \cdot 10^{3}$ 秒を達成し、他の手法を上回った。
• 最小和-最大問題に特化した新規ロバスト部分勾配法は、勾配サンプリングを必要とせず、安定性と性能が向上した。これは、非滑らかリーマン最適化分野への広範な応用可能性を示唆している。