[論文レビュー] NOWPAC: A provably convergent nonlinear optimizer with path-augmented constraints for noisy regimes

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|Mar 8, 2014

Advanced Optimization Algorithms Research参考文献 27被引用数 2

ひとこと要約

NOWPAC は、完全線形モデルと独創的なパス補完制約処理方式を用いた、導出を必要としない非線形最適化アルゴリズムであり、ノイズが混入しているか、不正確な関数評価がある状況下でも、1次臨界点への収束を保証する。誤差が減少する条件下でも収束を保証し、実用的状況における信頼性の低い評価を検出・緩和するための誤差インジケータを備えている。

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

研究の動機と目的

• 関数評価に数値誤差が混入するノイズのある環境下で、非線形制約付き導出なし最適化の課題に対処すること。
• モデルに基づく内部境界パスを用いて、正確な関数評価が不要な状況でも実行可能な試行ステップを可能にする制約処理機構の開発。
• 不正確な評価下でも、反復点が1次臨界点に収束することを証明すること。
• ノイズが多い状況下で収束を維持するために必要な数値誤差の減少率を特定すること。
• 信頼性の低い評価を検出し、実用的応用における最適化性能の低下を防ぐために、誤差インジケータを統合すること。

提案手法

• NOWPAC は、目的関数および制約の両方に対して完全線形モデルに基づく信頼領域フレームワークを採用している。
• 制約の内側境界パスを定義することで、制約モデルを用いて実行可能な試行ステップを導く、パス補完制約戦略を導入している。
• 試行ステップが実行可能領域内に留まるかどうかを、制約違反のモデルベース予測によって決定している。
• 不正確な評価下でも収束を保証する証明を組み込んでおり、数値誤差が十分な速度で減少すれば収束が保たれることを示している。
• 評価が信頼性が低すぎる場合にそれを検出できる誤差インジケータを統合し、アルゴリズムが劣化を回避できるようにしている。
• 目的関数または制約の評価がノイズで汚染されていても、反復点が1次臨界点に収束することを保証している。

実験結果

リサーチクエスチョン

• RQ1 目的関数および制約の評価が数値誤差によって汚染されている状況下でも、導出なし最適化アルゴリズムが収束を維持できるか。
• RQ2 1次臨界点への収束を保証するために必要な数値誤差の大きさの減少率はどの程度か。
• RQ3 導出なし最適化における制約処理をどのように改善すれば、正確な関数評価が不要な状況でも実行可能な試行ステップを保証できるか。
• RQ4 信頼領域アルゴリズムに自動誤差検出メカニズムを統合することで、ノイズが多い状況下での性能劣化を防げるか。
• RQ5 不正確な評価下でも収束を保証し、同時に妥当性を維持できるパス補完制約戦略を設計することは可能か。

主な発見

• NOWPAC は完全線形モデルを用いた信頼領域フレームワーク下で、1次臨界点に証明可能に収束する。
• 関数評価における数値誤差の大きさが、アルゴリズムの収束条件と整合する速度で減少すれば、収束が保証される。
• パス補完制約戦略により、制約の予測モデルのみを用いても実行可能な試行ステップを計算できる。
• 信頼性の低い評価を検出する誤差インジケータが成功裏に統合され、最適化性能の劣化を防げる。
• 評価精度を調整できない実用的状況でも、ノイズが多い状態を検出し応答できるため、アルゴリズムは頑健性を維持する。