[論文レビュー] Sequential Quadratic Optimization for Nonlinear Equality Constrained Stochastic Optimization

Albert S. Berahas, Frank E. Curtis+2 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Optimization Algorithms Research参考文献 34被引用数 6

ひとこと要約

本稿では、制約が決定論的であるが目的関数が確率的（すなわち、不偏勾配推定値のみが利用可能）な非線形等式制約付き確率的最適化問題に対して、逐次二次計画法（SQP）アルゴリズムを提案する。従来のラインサーチを、勾配のリプシッツ定数またはその適応的推定値に基づくステップサイズ戦略に置き換え、やや弱い仮定のもとで期待値の収束を達成し、数値実験ではペナルティに基づく確率的部分勾配法を上回る性能を示す。

ABSTRACT

Sequential quadratic optimization algorithms are proposed for solving smooth nonlinear optimization problems with equality constraints. The main focus is an algorithm proposed for the case when the constraint functions are deterministic, and constraint function and derivative values can be computed explicitly, but the objective function is stochastic. It is assumed in this setting that it is intractable to compute objective function and derivative values explicitly, although one can compute stochastic function and gradient estimates. As a starting point for this stochastic setting, an algorithm is proposed for the deterministic setting that is modeled after a state-of-the-art line-search SQP algorithm, but uses a stepsize selection scheme based on Lipschitz constants (or adaptively estimated Lipschitz constants) in place of the line search. This sets the stage for the proposed algorithm for the stochastic setting, for which it is assumed that line searches would be intractable. Under reasonable assumptions, convergence (resp.,~convergence in expectation) from remote starting points is proved for the proposed deterministic (resp.,~stochastic) algorithm. The results of numerical experiments demonstrate the practical performance of our proposed techniques.

研究の動機と目的

• 決定論的等式制約付きの確率的非線形最適化に対して、効率的でSQPに基づく手法が不足しているという問題に対処すること。
• ラインサーチの代わりにリプシッツ定数に基づくステップサイズ選択を用いる決定論的SQPアルゴリズムを構築し、最先端の手法と同等の収束保証を確保すること。
• 目的関数のノイズのある勾配推定値しか入手できない確率的設定にこのフレームワークを拡張すること。
• 適切な仮定のもとで、確率的アルゴリズムの期待値の収束を証明し、劣悪なメルリット関数パラメータの挙動に対してもロバスト性を示すこと。
• 数値実験を通じて、提案手法が制約の適合性と最適性の両面で、ペナルティに基づく確率的部分勾配法を上回ることを示すこと。

提案手法

• 決定論的アルゴリズムは準ニュートン法によるヘッセ行列の近似を用い、二次部分問題を通じて探索方向を計算し、勾配の推定リプシッツ定数に基づいてステップサイズを選択する。
• 目的関数の改善と制約違反のバランスを取るために、適応的ペナルティパラメータを有するメルリット関数を用い、劣悪な挙動を防ぐためのセーフティードライブを備える。
• 確率的設定では、目的関数の確率的勾配推定値を用い、ラインサーチが実行不能な状況を避けるために、同じリプシッツに基づくステップサイズ戦略を適用する。
• ステップサイズとメルリット関数のバランスを制御するため、適応的パラメータτkとξkを用いた確率的近似フレームワークを採用する。
• 収束解析は、凸近傍内での勾配および制約関数の有界性を仮定するが、θ=0のときにはこの有界性を緩和可能である。
• ラインサーチを明示的に行わず、リプシッツ推定値を用いた信頼領域的なメカニズムにより、メルリット関数の十分な減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラインサーチを不要とするリプシッツに基づくステップサイズ選択を用いるSQP法は、決定論的設定において、最先端のラインサーチSQP手法と同等の収束保証を達成できるか？
• RQ2 リプシッツ推定値と確率的勾配を用いる確率的SQPアルゴリズムは、標準的な仮定のもとで期待値の収束を示すか？
• RQ3 確率的設定において、適応的メルリット関数パラメータの劣悪な挙動に対して、提案手法はどの程度ロバストか？
• RQ4 提案手法は、制約の適合性と最適性誤差の両面で、ペナルティに基づく確率的部分勾配法を上回ることができるか？
• RQ5 確率的SQPフレームワークにおいて、勾配の有界性仮定はどのような条件下で緩和可能か？

主な発見

• リプシッツに基づくステップサイズを用いる決定論的SQPアルゴリズムは、最先端のラインサーチSQP手法と同等の理論的保証のもとで、グローバル収束を達成する。
• 確率的SQPアルゴリズムは、標準的な仮定のもとで期待値の収束が保証され、決定論的バージョンと同等の収束品質を示す。
• 数値実験では、正確なペナルティ関数に適用された確率的部分勾配法と比較して、提案手法が適合性と最適性誤差の両面で一貫して顕著に優れていることが示された。
• すべての実行において、τk ≤ τk^trial が99％以上の反復で成立しており、理論的仮定の実用的妥当性が裏付けられた。
• 勾配の有界性仮定はθ > 0のときのみ必要であり、θ = 0の場合はこの仮定を緩和可能であり、より高いロバスト性が得られる。
• ノイズレベル（10⁻⁸から10⁻¹）のさまざまな条件下でも、安定した性能を示し、一貫した収束行動を示した。