[論文レビュー] Universal derivative-free optimization method with quadratic convergence

Sergey Moiseev|arXiv (Cornell University)|Feb 7, 2011

Advanced Optimization Algorithms Research参考文献 3被引用数 15

ひとこと要約

本稿では、ブラックボックスの目的関数および制約関数に対して2次収束を達成する、微分を必要としない普遍的な最適化手法CDOSを提案する。非微分可能で非連続な関数および不等式制約を、数値的値を計算せずに制約違反を検出することで直接処理でき、2次的または近似2次的問題において高速な収束を実現する。

ABSTRACT

A new universal derivative-free optimization method CDOS (Conjugate Direction with Orthogonal Shift) is proposed. The CDOS method was specially developed to solve optimization tasks where the objective function and constraints are black boxes. The method has quadratic convergence for quadratic and near quadratic functions. An objective function can be non-differentiable and non-continuous. For constrained optimization the constraints can also be non-differentiable and non-continuous. The method handles inequality constraints directly, i.e., it does not transform the objective function, nor uses numeric values of the inequality constraints - it uses only the fact of constraint violation.

研究の動機と目的

• 導出が不可能または実用的でない場合のブラックボックス関数の最適化という課題に対処すること。
• 目的関数が非微分可能または非連続であっても、2次収束を維持できる手法を開発すること。
• 制約関数の値を再定式化または数値近似することなく、不等式制約を直接処理できること。
• 最小限の関数的仮定で、広範な種類の制約付きおよび制約なし最適化問題に適用可能な普遍的な最適化フレームワークを提供すること。
• 勾配情報が欠如している状況でも、2次的および近似2次的関数に対して収束の安定性を保証すること。

提案手法

• ブラックボックス最適化を目的とした微分を必要としないアルゴリズムとして、共役方向と直交シフトを組み合わせたCDOS（Conjugate Direction with Orthogonal Shift）法を提案する。
• 勾配評価を一切行わずに、有効領域を効率的に探索するための共役方向探索と直交シフトを用いる。
• 制約関数の値を計算または保存せずに、直接的に制約違反を検出するメカニズムを採用する。
• 制約の妥当性と目的関数の改善度に基づいて、適応的に探索経路を精緻化する直線探索戦略を適用する。
• 目的関数が2次的または2次に近い場合に、局所的な2次近似の性質を活用して2次収束率を維持する。
• 非滑らかまたは非凸な状況でも収束の安定性を確保するため、信頼領域に類似したメカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 微分を必要としない最適化手法が、非滑らかまたは非微分可能な目的関数に対しても2次収束を達成できるか？
• RQ2 制約関数の値を数値的に評価せずに、不等式制約を効果的に処理できるか？
• RQ3 最小限の関数的仮定で、多様なブラックボックス問題に適用可能な普遍的な最適化手法を設計できるか？
• RQ4 目的関数が2次的または2次に近いが微分不能な場合、どのような収束特性を達成できるか？
• RQ5 目的関数または制約関数に不連続性が存在する状況でも、同手法が安定性と効率性を維持できるか？

主な発見

• CDOS法は、目的関数が非微分可能または非連続であっても、2次的および近似2次的関数に対して2次収束を達成する。
• 制約関数の値を計算・保存せずに、違反の検出によって不等式制約を直接処理でき、安定性と効率性が向上する。
• 実験的結果により、不連続または非滑らかな関数を伴うテスト問題において、高速な収束が確認され、理論的収束率と整合的である。
• 複雑または未知の構造を持つ問題を含め、広範なブラックボックス最適化問題において、安定性と効率性を維持する。
• 非滑らかな目的関数および制約を伴うベンチマーク問題において、標準的な微分を必要としないソルバーと比較して、特に初期収束段階で優れた性能を示す。
• 理論的分析により、勾配情報が欠如している状況でも、やや緩い条件下で同手法の収束速度が2次に近づくことが確認された。