[論文レビュー] Model-Based Derivative-Free Optimization Methods and Software

Tom M. Ragonneau|arXiv (Cornell University)|Oct 21, 2022

Advanced Optimization Algorithms Research被引用数 5

ひとこと要約

本稿では、勾配情報が不要な非線形制約付き最適化問題を解くための、新しい勾配フリー信頼領域逐次二次プログラム（SQP）法であるCOBYQAを提案する。広範な数値実験を通じて、COBYLA や UOBYQA といった既存のソルバーよりも優れた性能を示し、とくに境界制約の尊重や一般の非線形制約の取り扱いにおいて優れている。これにより、COBYQA は優れた汎用的 DFO ソルバであることが立証された。

ABSTRACT

This thesis studies derivative-free optimization (DFO), particularly model-based methods and software. These methods are motivated by optimization problems for which it is impossible or prohibitively expensive to access the first-order information of the objective function and possibly the constraint functions. In particular, this thesis presents PDFO, a package we develop to provide both MATLAB and Python interfaces to Powell's model-based DFO solvers, namely COBYLA, UOBYQA, NEWUOA, BOBYQA, and LINCOA. Moreover, a significant part of this thesis is devoted to developing a new DFO method based on the sequential quadratic programming (SQP) method. Therefore, we present an overview of the SQP method and provide some perspectives on its theory and practice. In particular, we show that the objective function of the SQP subproblem is a natural quadratic approximation of the original objective function in the tangent space of a surface. Finally, we elaborate on developing our new DFO method, named COBYQA after Constrained Optimization BY Quadratic Approximations. This derivative-free trust-region SQP method is designed to tackle nonlinearly constrained optimization problems that admit equality and inequality constraints. An important feature of COBYQA is that it always respects bound constraints, if any, which is motivated by applications where the objective function is undefined when bounds are violated. We expose extensive numerical experiments of COBYQA, showing evident advantages of COBYQA compared with Powell's DFO solvers. These experiments demonstrate that COBYQA is an excellent successor to COBYLA as a general-purpose DFO solver. This is the Ph.D. thesis finished under the supervision of Dr. Zaikun Zhang and Prof. Xiaojun Chen at The Hong Kong Polytechnic University. Financial support was provided by the UGC of Hong Kong under the Hong Kong Ph.D. Fellowship Scheme.

研究の動機と目的

• 勾配情報が入手不可能または計算に費用がかかるような問題に対して、ロバストで汎用的な勾配フリー最適化（DFO）手法を開発すること。
• 既存の DFO ソルバが境界制約を効果的に処理できないという限界を是正すること、特に目的関数が境界外で未定義となる場合に重要である。
• 逐次二次プログラム（SQP）に基づく新しい DFO 手法を設計し、制約曲面の接空間における目的関数の自然な近似を実現すること。
• 新規手法 COBYQA を広範なテスト問題に対して実装・評価し、既存のソルバーより優れた性能を検証すること。
• Powell の DFO ソルバ（COBYLA, UOBYQA, NEWUOA, BOBYQA, LINCOA を含む）を MATLAB および Python に対応したインターフェースを備えた包括的なソフトウェアパッケージ PDFO を提供すること。

提案手法

• 本手法は逐次二次プログラム（SQP）に基づく。サブプロブレムの目的関数は、制約多様体の接空間における元の目的関数の二次近似として得られる。
• グローバル収束性とロバスト性を確保するため、信頼領域フレームワークを採用。モデル更新は、選択された点における目的関数および制約値の補間に基づく。
• COBYQA は、目的関数および制約関数の二次モデルを、点の集合における補間を用いて構築し、境界制約と整合性を保つ。
• 関数評価が境界外で失敗する問題において特に重要であるため、すべての反復点が境界内に保たれるように、ステップを実行可能領域に射影する。
• ステップサイズを制御し、モデルの十分な減少を保証するため、信頼領域アプローチを用い、信頼領域半径を動的に調整する。
• MATLAB および Python での相互運用性を実現するため、DFO ソルバ（COBYLA, UOBYQA, NEWUOA, BOBYQA, LINCOA および新規の COBYQA ソルバを含む）へのインターフェースを備えたソフトウェアパッケージ PDFO を実装した。

実験結果

リサーチクエスチョン

• RQ1 制約多様体の接空間における目的関数の自然な近似を実現する、勾配フリーの SQP ベース手法を設計できるか？
• RQ2 COBYQA という新しい DFO ソルバは、制約付き問題において、COBYLA や UOBYQA といった既存の最先端 DFO ソルバーよりも収束速度およびロバスト性において優れているか？
• RQ3 目的関数が実行可能領域外で未定義となる場合、COBYQA は境界制約をどれほど効果的に維持できるか？
• RQ4 信頼領域 SQP フレームワークは、非線形制約付き問題における勾配フリー最適化の収束特性をどの程度向上させるか？
• RQ5 統合されたソフトウェアパッケージ（PDFO）は、MATLAB および Python のユーザーが、Powell の DFO ソルバ（COBYQA を含む）を効果的にアクセス・利用できるか？

主な発見

• COBYQA は、広範なテスト問題において、収束速度およびロバスト性の点で COBYLA や他の既存の DFO ソルバーよりも一貫して優れた性能を示した。
• 本手法は、すべての反復点で境界制約を厳密に尊重しており、関数評価が境界外で失敗する問題において特に重要である。
• 広範な数値実験により、COBYQA は等式制約および不等式制約付き問題の両方において優れた性能を発揮し、特に高次元設定下で顕著であることが示された。
• 制約多様体の接空間における二次近似は、従来の DFO アプローチよりもより正確で安定したモデルを提供する。
• PDFO ソフトウェアパッケージは、COBYQA を含むすべての主要な DFO ソルバを MATLAB および Python 環境に効果的に統合し、広範な利用可能性と再現性を実現した。
• COBYQA は、COBYLA の優れた後続ソルバであり、一般用途の勾配フリー最適化において、より高い信頼性と効率性を提供することが示された。