[論文レビュー] A nonsmooth exact penalty method for equality-constrained optimization: complexity and implementation

Youssef Diouane, Maxence Gollier+1 more|arXiv (Cornell University)|Jan 1, 2024

Advanced Optimization Algorithms Research被引用数 1

ひとこと要約

本稿では、等式制約付き最適化のための正確な ℓ2-ペナルティ法の実用的で、近接に基づく実装を提案し、標準的な仮定の下で最悪ケースの複雑さが O(ϵ⁻²) であることを示している。非滑らかで正確なペナルティ法は、現代の近接ソルバを用いることで効率的に解くことができ、小スケール問題において増分ラグランジュ法よりもロバスト性と効率性に優れ、SQP法と同等の性能を示すことを示している。

ABSTRACT

Penalty methods are a well known class of algorithms for constrained optimization. They transform a constrained problem into a sequence of unconstrained \emph{penalized} problems in the hope that approximate solutions of the latter converge to a solution of the former. If Lagrange multipliers exist, exact penalty methods ensure that the penalty parameter only need increase a finite number of times, but are typically scorned in smooth optimization for the penalized problems are not smooth. This led researchers to consider the implementation of exact penalty methods inconvenient. Recent advances in proximal methods have led to increasingly efficient solvers for nonsmooth optimization. We study a general exact penalty algorithm and use it to show that the exact $\ell_2$-penalty method for equality-constrained optimization can, in fact, be implemented efficiently by solving the penalized problem using a proximal-type algorithm. We study the convergence of our algorithm and establish a worst-case complexity bound of $\mathcal{O}(ε^{-2})$ to bring a stationarity measure below $ε> 0$ under the Mangarasian-Fromowitz constraint qualification and Lipschitz continuity of the objective gradient and constraint Jacobian. While the Lipschitz continuity of the objective gradient is not required for convergence in view of recent works, it is used in our analysis to derive the complexity bound. In a degenerate scenario where the penalty parameter grows unbounded, the complexity becomes $\mathcal{O}(ε^{-8})$, which is worse than another bound found in the literature. Finally, we report numerical experience on small-scale problems from a standard collection and compare our solver with an augmented-Lagrangian and an SQP method. Our preliminary implementation is superior to the augmented Lagrangian in terms of robustness and efficiency, and is competitive with the SQP method.

研究の動機と目的

• 非滑らかさのため、正確なペナルティ法は実用的でないと長年にわたり見なされてきたが、現代の近接ソルバを用いることで、その実装が効率的に行えることを示す。
• マングァリアン＝フロモイッツ制約規準と勾配のリプシッツ連続性の下で、停留在性測度が ϵ > 0 未満に低下するまでの最悪ケースの複雑さを O(ϵ⁻²) として確立する。
• ℓ2-ペナルティ法が近接アルゴリズムを用いて効率的に実装できることを示し、増分ラグランジュ法や SQP 法の代替手段として有効であることを示す。
• 複雑さの上限に与える影響を分析することで、適切にスケーリングされた実行可能性測度の選択を正当化する。特に退化ケースにおいてその影響を検討する。
• 近接技術を用いた正確な ℓ2-ペナルティ法の最初の具体的な実装を提供し、標準的なテスト問題を用いた数値的検証を実施する。

提案手法

• 非滑らかでペナルティ化された部分問題を解くために、近接型アルゴリズムを用い、効率的な近接作用素の評価を活用する。
• 適応的正則化とラインサーチを備えた修正された準ニュートン近接法（R2N）を採用し、拡張モデルにおける十分な減少を保証する。
• 信頼領域部分問題の解法を用いて、近接作用素を効率的に計算する手続きを導出する。特に、ランク不足のヤコビ行列に対しても、代替の鞍点系を用いて処理する。
• ペナルティ問題に信頼領域フレームワークを適用し、標準的な仮定の下で収束性を保証するとともに、複雑さの分析を可能にする。
• ステップサイズの制御とグローバル収束の保証のため、適応的正則化パラメータの更新を伴うバックトラッキングラインサーチを用いる。
• 他のノルム（例：ℓ1、ℓ∞）への一般化が可能であるが、その場合でも部分問題が効率的に解ける限り、十分に一般化可能なフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかさのため、等式制約付き最適化における正確なペナルティ法が、現代の近接ソルバを用いることで実用的に行えるか。
• RQ2 標準的な仮定の下で、正確な ℓ2-ペナルティ法の近接的実装の最悪ケースの複雑さは何か。
• RQ3 実行可能性測度の選択が複雑さの上限に与える影響は何か。特に退化状況においては。
• RQ4 提案手法は、増分ラグランジュ法や SQP 法と比較して、小スケール問題においてロバスト性と効率性に優れているか。
• RQ5 ℓ2-ペナルティ法は近接アルゴリズムによる効率的実装が可能か。そのために必要な主要なアルゴリズム的要素は何か。

主な発見

• 提案されたアルゴリズムは、マングァリアン＝フロモイッツ制約規準と目的関数勾配および制約ヤコビ行列のリプシッツ連続性の下で、停留在性測度を ϵ > 0 未満に低下させるまでの最悪ケースの複雑さが O(ϵ⁻²) であることを達成している。
• ペナルティパラメータが無限大に発散する退化ケースでは、複雑さは O(ϵ⁻⁸) に劣化するが、これは先行研究の O(ϵ⁻⁵) の境界よりも悪いが、適切にスケーリングされた実行可能性測度の結果であると著者らが正当化している。
• 数値実験の結果、提案されたソルバは、標準的なテストセットからの小スケール問題において、増分ラグランジュ法よりもロバストでかつ効率的であることが示された。
• ロバスト性の観点では SQP 法と同等の性能を示したが、一般的には SQP 法の方が関数評価回数が少ないことが確認された。
• 信頼領域部分問題の解法による近接作用素の効率的評価を用いて、近接技術を用いた正確な ℓ2-ペナルティ法の最初の既知の実用的実装が達成された。
• ℓ1 や ℓ∞ などの他のノルムに対しても、対応する近接作用素が効率的に計算できる限り、このフレームワークは拡張可能である。