[論文レビュー] NOWPAC: A provably convergent derivative-free nonlinear optimizer with path-augmented constraints

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|Mar 8, 2014

Advanced Optimization Algorithms Research参考文献 44被引用数 15

ひとこと要約

NOWPAC は、目的関数および制約関数の両方に対して完全線形モデルを用いた信頼領域フレームワークを採用する、導出を必要としない非線形最適化アルゴリズムであり、新たなパス補完型制約処理方式を組み込み、試行ステップの実行可能性を保証する。この手法は、関数評価が不正確であっても、第一階微分臨界点への収束を保証する。数値誤差が適切な割合で減少すれば収束が保証され、実際の応用において信頼性の低い評価を検出・緩和するための誤差指標を含む。

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

研究の動機と目的

• 目的関数および制約関数がブラックボックスとしてしか入手できない非線形制約付き最適化問題に適した導出不要最適化アルゴリズムの開発。
• 実用的応用で一般的に見られる、事前に制御または境界を設定できない数値誤差を伴う不正確な関数評価の課題に対処すること。
• 関数評価の不正確さがあっても、第一階微分臨界点への収束を保証すること。
• 制約モデルに基づいた試行ステップの実行可能性を可能にする、内境界パスに基づく新しい制約処理メカニズムの導入。
• 不正確な評価下での収束に関する理論的保証と、最適化性能の低下を防ぐための誤差検出メカニズムの提供。

提案手法

• NOWPAC は、目的関数および制約関数の両方に対して完全線形モデルを用いた信頼領域フレームワークを採用し、微分情報なしで局所近似を可能にする。
• 試行ステップが制約を満たすように、実行可能性を保証する内境界パスを定義するパス補完型制約処理方式を導入する。
• 信頼領域内での実行可能方向における目的関数勾配の最小値に基づく臨界性測度を用い、制約モデルの影響を考慮して適応させる。
• 標準的な仮定（信頼領域半径の減少）の下で、第一階微分臨界点へのグローバル収束を保証する収束理論を組み込む。
• 不正確な評価に対しては、収束を維持するための数値誤差の減少率を導出し、モデルの精度および信頼領域サイズに基づく。
• 関数評価の精度を調整できない状況下で、高不正確性領域を検出し、最適化性能の劣化を防ぐために誤差指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 目的関数および制約関数の両方が不正確に評価される状況下でも、導出不要最適化アルゴリズムが第一階微分臨界点へのグローバル収束を達成できるか？
• RQ2 微分情報が得られない状況下で、ペナルティ関数やフィルターに依存せずに、導出不要最適化における制約処理をどのように改善できるか？
• RQ3 関数評価における数値誤差が、臨界点への収束を保証するために満たすべき減少率は何か？
• RQ4 最適化の実行中に高不正確性領域を特定し、性能劣化を防ぐための実用的な誤差検出メカニズムを設計できるか？
• RQ5 パス補完型制約戦略は、導出不要信頼領域法の実行可能性および収束特性をどのように向上させるか？

主な発見

• NOWPAC は、標準的な信頼領域仮定のもとで、目的関数および制約関数の評価が不正確であっても、第一階微分臨界点への収束を保証する。
• 数値誤差の大きさが ρk に対して o(ρk) の割合で減少すれば、収束が保証される。ここで ρk は信頼領域半径である。
• パス補完型制約処理方式により、制約のモデル予測のみを用いても、実行可能な試行ステップを計算可能となり、ロバスト性と実行可能性が向上する。
• 信頼領域半径が減少するに従い、アルゴリズムの臨界性測度が 0 に収束することが示された。これにより、臨界点への収束が保証される。
• 誤差指標が実用的応用において高不正確性領域を効果的に検出し、性能劣化を防止する目的で成功裏に統合された。
• 理論的解析により、目的関数および制約の勾配近似誤差が o(ρk) に属することを確認し、モデルに基づく最適化プロセスの整合性が保証された。