[論文レビュー] An interior point method for nonlinear constrained derivative-free optimization

Andrea Brilli, Giampaolo Liuzzi+1 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、目的関数および制約関数がブラックボックスであり、非緩和可能（許容領域外での評価が失敗する）である非線形制約付き最適化問題に対して、導出を用いない内点法を提案する。不等式制約には対数バリア法を、等式制約には2次ペナルティ法を組み合わせたマーティリアン関数を用い、弱い仮定のもとでKKT点への収束を証明し、最先端のソルバーと比較して標準的なテスト問題において効率的であることを示している。

ABSTRACT

In this paper we consider constrained optimization problems where both the objective and constraint functions are of the black-box type. Furthermore, we assume that the nonlinear inequality constraints are non-relaxable, i.e. their values and that of the objective function cannot be computed outside of the feasible region. This situation happens frequently in practice especially in the black-box setting where function values are typically computed by means of complex simulation programs which may fail to execute if the considered point is outside of the feasible region. For such problems, we propose a new derivative-free optimization method which is based on the use of a merit function that handles inequality constraints by means of a log-barrier approach and equality constraints by means of a quadratic penalty approach. We prove convergence of the proposed method to KKT stationary points of the problem under quite mild assumptions. Furthermore, we also carry out a preliminary numerical experience on standard test problems and comparison with a state-of-the-art solver which shows efficiency of the proposed method.

研究の動機と目的

• 目的関数および制約関数がブラックボックスであり、非緩和可能（許容領域外での評価が失敗する）である非線形制約付き最適化問題に対処すること。
• 極端なペナルティ法とは異なり、内部ペナル化を用いることで、不連続性を生じさせることなく非緩和可能制約を扱える方法を開発すること。
• 導出情報が利用不可であっても、弱い仮定のもとでKKT停留点への収束を保証すること。
• 導出情報が不要な設定において、対数バリア項とペナルティ項を効果的に統合する実用的なアルゴリズムを設計すること。

提案手法

• 不等式制約 $ g(x) \leq 0 $ に対して対数バリア項、等式制約 $ h(x) = 0 $ に対して2次ペナルティ項を含むマーティリアン関数を定義し、$ P(x;\epsilon) = f(x) - \epsilon \sum \log[-g_j(x)] + \frac{1}{\epsilon} \sum |h_j(x)|^\nu $（$ \nu > 1 $）とする。
• 制約 $ g(x) \not< 0 $ の場合に $ P(x;\epsilon) = +\infty $ となるように制約を課すことにより、非緩和可能制約が常に違反されないことを保証する。
• 制約 $ x \in \stackrel{\circ}{\mathcal{S}} \cap X $ のもとで、部分問題 $ \min P(x;\epsilon) $ を解く。ここで $ \stackrel{\circ}{\mathcal{S}} $ は不等式制約集合の内部を表す。
• 勾配情報が不要なパターン探索に基づくアルゴリズムを用いて、マーティリアン関数を最小化する。
• 十分な減少を保証するため、フィルタータイプの受容ルールを用いたラインサーチ戦略を採用する。
• 適応的ペナルティパラメータ $ \epsilon_k $ を用いた信頼領域に類似したフレームワークを適用し、反復点が最適性に近づくに従い $ \epsilon_k $ を減少させる。

実験結果

リサーチクエスチョン

• RQ1 導出を用いない内点法は、不連続性や悪条件性を引き起こさずに、非緩和可能ブラックボックス制約を効果的に扱えるか？
• RQ2 導出情報が利用不可であっても、マーティリアン関数に対数バリア項と2次ペナルティ項を組み合わせることで、弱い仮定のもとでKKT点への収束が達成できるか？
• RQ3 実用的観点から、本手法は制約付きブラックボックス最適化問題に対して最先端の導出を用いないソルバーと比較してどのように性能を発揮するか？
• RQ4 複雑なシミュレーションベースの制約が存在する状況でも、アルゴリズムはグローバル収束を保ち、不実行解や部分最適解への収束を回避できるか？

主な発見

• 導出情報が利用不可または信頼できない状況においても、弱い仮定のもとで、本手法はKKT停留点への収束を示す。
• 反復点列に沿って、不等式制約および等式制約のラグランジュ乗数の列が有界のままであることが保証され、安定性が確保される。
• 収束証明は、極限点でマンガスリアン＝フロモヴィッツ制約準拠（MFCQ）が成立することを仮定しており、解析においてこの仮定が採用されている。
• 標準的なテスト問題における数値実験から、本手法は最先端の導出を用いないソルバーと同等の収束品質およびロバストネスを示している。
• 極端なペナルティ法が引き起こす悪条件性や不連続性を効果的に回避でき、より信頼性の高い収束が達成される。
• 非緩和可能制約に対して対数バリアを用いることで、マーティリアン関数が許容領域の内部で有限かつ滑らかに保たれ、安定した最適化が可能になる。