[論文レビュー] Implementing a smooth exact penalty function for equality-constrained nonlinear optimization

Ron Estrin, Michael P. Friedlander+2 more|arXiv (Cornell University)|Oct 9, 2019

Matrix Theory and Algorithms参考文献 47被引用数 18

ひとこと要約

本稿では、等式制約付き非線形最適化における Fletcher の滑らかで正確なペナルティ関数の計算的に効率的な実装を提示する。構造化された線形システムの解法と適応的正則化を活用することで、R-2次収束を達成するとともに、標準的な非線形計画問題およびPDE制約付き問題の両方で実用性を示した。これは、かつて長らく、このようなペナルティ関数は計算的に非現実的であると信じられてきた見解に挑戦するものである。

ABSTRACT

We develop a general equality-constrained nonlinear optimization algorithm based on a smooth penalty function proposed by Fletcher (1970). Although it was historically considered to be computationally prohibitive in practice, we demonstrate that the computational kernels required are no more expensive than other widely accepted methods for nonlinear optimization. The main kernel required to evaluate the penalty function and its derivatives is solving a structured linear system. We show how to solve this system efficiently by storing a single factorization each iteration when the matrices are available explicitly. We further show how to adapt the penalty function to the class of factorization-free algorithms by solving the linear system iteratively. The penalty function therefore has promise when the linear system can be solved efficiently, e.g., for PDE-constrained optimization problems where efficient preconditioners exist. We discuss extensions including handling simple constraints explicitly, regularizing the penalty function, and inexact evaluation of the penalty function and its gradients. We demonstrate the merits of the approach and its various features on some nonlinear programs from a standard test set, and some PDE-constrained optimization problems.

研究の動機と目的

• Fletcher の滑らかで正確なペナルティ関数が実用的用途には計算的に非現実的であるという長年の認識に挑戦すること。
• 主な計算カーネルである構造化されたサドルポイント系の解法が、順次二次計画法のような広く使われている手法と同等以上のコストでないことを示すこと。
• 効率的な直接法および反復法による線形ソルバーを用いて、特にPDE制約付き最適化を含む大規模問題へのペナルティ関数の適用を可能にすること。
• ランク不足の制約に対応するための正則化や不正確な評価戦略といった実用的改善を提案すること。
• 緩い仮定のもとで大域的および局所的収束性を確立し、適応的ペナルティパラメータ更新を用いて R-2次収束を達成すること。

提案手法

• ラグランジュアンの二次近似の最小化から導かれる滑らかで正確なペナルティ関数 φσ(x) を提案し、乗数推定値 yσ(x) を最小二乗問題により計算する。
• 構造化されたサドルポイント系の解法が主要な計算カーネルであることを特定し、行列が明示的に与えられる場合には1反復あたり1回の因子分解で効率的に解けることを示す。
• 因子分解を必要としないアルゴリズムに適応するため、線形システムを反復的に解く手法を採用し、Krylov部分空間法およびプリコンディショニングを活用可能にする。
• 退化した制約ヤコビ行列に対処し、数値的安定性を向上させるために、正則化されたバージョン φσ(x; δ) を導入する。
• 勾配ノルムに基づいて δk を更新する適応的ペナルティパラメータ戦略を採用し、R-2次収束を保証する。
• 信頼領域に類似したグローバライゼーションを用いた不正確なニュートン法を採用し、勾配およびヘッシアン・ベクトル積の不正確な評価を許容する。

実験結果

リサーチクエスチョン

• RQ1 Fletcher の滑らかで正確なペナルティ関数は、大規模な非線形最適化に実用的に適用できるほど十分に効率的に実装可能か？
• RQ2 ペナルティ関数およびその導関数の評価コストは、順次二次計画法のような確立された手法と同等か？
• RQ3 因子分解を必要としない最適化フレームワーク、特に効率的なプリコンディショナーを備えたPDE制約付き問題に、ペナルティ関数を適応可能か？
• RQ4 提案された正則化戦略は、制約ヤコビ行列がランク不足の場合でも収束性と安定性を保証するか？
• RQ5 正確なヘッシアン計算を避ける適応的ペナルティパラメータ更新則を用いても、R-2次収束を達成できるか？

主な発見

• ペナルティ関数 φσ(x) は正確である：すべての σ > σ∗ に対して、元の問題の局所最適解は φσ の最小解である。これにより大域的収束が保証される。
• 主な計算コストである構造化されたサドルポイント系の解法は、行列が明示的に与えられ、1反復あたり1回の因子分解が可能な場合には、標準的手法と同等以上のコストでない。
• 大規模問題では、線形システムの反復的解法により効率的な実装が可能となり、特にPDE制約付き最適化のような良いプリコンディショナーが利用可能な場合に顕著である。
• 正則化されたペナルティ関数 φσ(x; δ) は、解の近傍でヘッシアンが C² スムーズかつ正定値となるように保証し、超線形収束を可能にする。
• 適応的ペナルティパラメータ更新戦略により、勾配の不正確な評価が行われても R-2次収束が達成され、∥xk − x∗∥ = O(δk) かつ δk+1 = O(δk²) が成り立つ。
• 標準的なテスト問題およびPDE制約付き最適化問題に対する数値実験により、本手法の頑健性、効率性、および高速な局所収束性が確認された。